«В лето 7044 (1536) апреля в 19 день князь Великий Иван Васильевич и мати его Великая княжна Елена велел поставити город в Торопецком уезде на Велижском городище, город Велиж, и доделать месяца июля, в третье лето государства его» - так записано в Царственной книге Ивана Грозного. От этой даты смоленские историки ведут исчисление возраста города Велижа.
В июле 1536 года крепость была возведена в виде трех срубов, заполненных глиной. Она имела 8 боевых башен, две из которых были с въездными воротами. В устье речки Канивец была сооружена плотина, которая позволяла поднимать уровень воды в глубоких рвах вокруг крепости. Склоны рвов были выложены бревнами и становились скользкими при подъеме воды.
Но сказать точно, когда появились поселения в этих местах невозможно. Только на территории современного Велижа обнаружено четыре городища. А всего в районе находится более 100 памятников археологии. Наибольшую известность получил Сертейский археологический комплекс. Здесь, впервые в Европе, в результате подводных раскопок найдены уникальные свайные поселения эпохи неолита.
Судьба уготовила Велижской крепости участь всех спорных территорий. Уже в 1562 году Велиж был сожжен войском Радзивилла, совершавшего поход в Московскую землю, а в 1568 году – витебскими казаками. В 1580 году на пограничные области страны двинулась польская армия во главе с королем Стефаном Баторием. К Велижу выступило войско канцлера И. Замойского, город был взят на 5-й день осады. По условиям мирного договора, вскоре заключенного с Речью Посполитой, Велиж остался в составе польско-литовского государства. В мае 1655 г. русские войска осадили Велиж, и 17 июня 1655 г. его «державец» Ян Домашевский, велижская шляхта и мещане сдали город. После возвращения Велижа России в нем устраивается пристань, игравшая значительную роль во внешней торговле страны. Московское правительство предоставило жителям ряд льгот. Им было разрешено, в частности, «всякими товарами торговать беспошлинно, от Велижа на низ по Двине реке до Риги во всех городах». Кроме того, им позволялось вести торговые операции на те деньги, которые раньше имели хождение в Белоруссии и на остальной территории Великого княжества Литовского. Основным ядром города по-прежнему была крепость. Рядом с крепостью выросла слобода – поселение ремесленников. В 1665 году в ней насчитывалось 118 дворов. В 1678 году Велиж вошел в состав Речи Посполитой, и только в 1772 году вновь возвращен Русскому государству. Права уездного города получил в 1776 году.
В 1798 году был утвержден генеральный план развития города, разработанный в Комиссии о каменном строении. Генплан предлагал прямоугольно-прямолинейную структуру. Основное развитие получала левобережная сторона, здесь планировалась прямоугольная площадь с присутственными местами и гостиным двором, к северу от площади стояла основная городская доминанта – городской собор. На территории бывшей крепости предлагалось разместить казенные хлебные и соляные магазины. Генеральный план был в основном реализован. Несмотря на пожары (в 1863 г. здесь сгорело более 500 домов левобережной части), заложенная в генплане структура улиц сохранялась. Центральная часть города в первой трети ХIХ в. была застроена каменными зданиями.
В начале ХIХ века город отмечен в истории общественного движения в связи с судебным делом по обвинению группы евреев в убийстве мальчика Ф. Иванова. Hесмотря на беззаконные методы следствия и давление реакционных кругов, обвиняемые были оправданы, а лжесвидетели сосланы в Сибирь. Под впечатлением велижского дела была написана юношеская трагедия М.Ю. Лермонтова “Испанцы”. Евреи появились в Велиже в ХVI веке. В 1620 году их насчитывалось 4000 человек, в 1903 г. – 7004, т.е. 50% жителей города. Перед Великой Отечественной войной – одна треть населения Велиж.
В Отечественную войну 1812 года Велиж был избран местом складирования продовольствия для русской армии. Занимался этим 20-й егерский полк под наблюдением генерал-майора Горихвостова. 18 июля 1812 года в город ворвались французские кавалеристы 4 корпуса вице-короля Евгения Богарне и изрубили русских рекрутов, о чем упоминал в своих мемуарах генерал А.П. Ермолов. Оккупация продолжалась около трех месяцев. Перед войной 1812 г. в Велиже проживало более 5000 человек и насчитывалось около 700 домов. После освобождения осталось 595 человек и 89 домов. В 1817 году был утвержден новый генеральный план застройки города, который повторял общий план 1778 года. Заложенная структура улиц сохраняется по настоящее время.
В ХIХ веке Велиж сохраняет значение крупного торгового города. Из него транспортировали в Витебск, Ригу и далее, за границу, зерно, льнопродукты, коноплю, пеньку, кожи, лес. Так, в 1859 году было отправлено товаров на сумму 130 тысяч руб. В Велиже и уезде бурно развивается производство строительных материалов: кирпича, извести, пиломатериалов, стекла. В середине ХIХ века в Велиже насчитывалось 7 кирпичных заводов. Славился город своими краснодеревщиками и сплавщиками леса.
В 1901 году здесь была создана велижская группа Витебской организации РСДРП. В 1918 году в городе была открыта учительская семинария, которая работала до начала Великой Отечественной войны как педагогический техникум и педагогическое училище. Также работали школа медсестер и школа сельских счетоводов. У педучилища имелась своя базовая школа.
В годы советских пятилеток в Велиж развивается промышленность, связанная с переработкой сельскохозяйственной продукции и древесины. В 1933 году построен мост через реку Западная Двина.
В составе Смоленской области находится с 1937 году. В 1963 году Велижский район был присоединен к Демидовскому, статус райцентра восстановлен в 1965 году.
В годы Великой Отечественной войны Велижский район стал ареной военных операций. С января 1942 года по сентябрь 1943 года по его территории проходила линия фронта; здесь сражались бойцы 4-й ударной армии. Сам Велиж был оккупирован 14 июля 1941 года. Основные архитектурные памятники города – собор, церкви, костелы – были разрушены. В сентябре 1941 года нацистами было образовано еврейское гетто, которое было уничтожено 29 января 1942 года. В гетто находилось около 2000 евреев. На месте уничтожения гетто стоит памятник.
Велиж был освобожден в ходе Духовщинско-Демидовской операции войсками Калининского фронта 20 сентября 1943 года.