Территория будущего Велижа (Велижская волость) входила в состав Смоленского княжества, а затем в состав его удела — Торопецкого княжества. Велижская волость впервые упоминается в русских летописях в XII веке. Вместе с Торопецким княжеством в 1355 году эти земли были присоединены к Великому княжеству Литовскому. В 1392 году Велиж упоминается в летописи Быховца, когда литовский князь Витовт совершил большой поход по завоеванию земель к Смоленску и Москве

«Пойде князь великий Витольд, собрався под города Псковия: Велиж, Красный город…».

В литовских летописях Велиж упоминается в 1403 году.

Во время русско-литовской войны 1534—1537 Велиж был взят русскими отрядами. В апреле 1536 года был издан указ о строительстве крепостей на старом велижском городище (в городе их насчитывалось 4), называемом Замковая гора. В царственной книге Ивана Грозного об этом сказано:

«В лето 7044 (1536) апреля в 19-й день князь великий Иван Васильевич и мати его Великая княжна Елена велела поставити город в Торопецком уезде на Велижском городище, город Велиж, и доделать месяца июля, в третье лето государства его».

Этот год считается официальным годом основания Велижа.

Крепость строилась мастерами Иваном Рудаком и Иваном Колычевым и в июле 1536 года была возведена в виде трёх срубов, заполненных глиной. Она имела 8 (9) боевых башен, две из которых были с въездными воротами. В устье реки Каневец была сооружена плотина, которая позволяла поднимать уровень воды в глубоких рвах вокруг крепости. Склоны рвов были выложены бревнами и становились скользкими при подъёме воды.

Во время Ливонской войны 1558—1583 года литовцы пытались завладеть Велижскими землями, но удалось это князю Радзивиллу лишь в 1562 году. Был разрушен велижский посад и окрестные деревни. Помимо набегов свирепствовали эпидемии, писцовые книги указывают, что «Велижский уезд почти сплошь впусте лежал». По Ям-Запольскому перемирию 1582 года Велиж отошёл к Речи Посполитой.

В 1585 году Велиж получил Магдебургское право, в том же году Велижа появился герб: золотой крест, над ним обнажённый меч, направленный остриём на восток, на голубом щите европейского типа.

В 1655 году, во время русско-польской войны 1654—1667, Велиж подвергся разрушению русскими войсками. В 1667 году по Андрусовскому договору Велиж отошёл к России, но в 1678 году был возвращён Речи Посполитой вместе с некоторыми другими землями в обмен на город Киев. К концу XVII века Велиж утратил своё военно-стратегическое значение и развился как центр обширного староства в составе Витебского воеводства. К концу XVII века был застроен и правый берег Двины, куда подходила дорога из Усвята.

По первому разделу Польши в 1772 году, Велиж окончательно вошёл в состав России. Он был включён сначала в состав Псковской, а затем Полоцкой губернии Витебской провинции, а с 1804 года — Витебской губернии. Права уездного города Велиж получил в 1776 году. Русское правительство предоставило жителям Велижа ряд льгот. До конца XIX века город имел тесные торговые связи с Ригой, куда водным путём отправляли лес, льняное семя, пеньку, золу, зерно. 21 сентября 1781 года Екатерина II жаловала город гербом Российским, включающим двуглавого орла на золотом фоне в верхней части и всадника (см. также Погоня (герб)) на бело-красном фоне в нижней. В 1798 году был утверждён генеральный план развития города, разработанный в Комиссии о каменном строении. Генплан предлагал прямоугольно-прямолинейную структуру. Основное развитие получала левобережная сторона, здесь планировалась прямоугольная площадь с присутственными местами и гостиным двором, к северу от площади стояла основная городская доминанта — городской собор. На въездах из Суража и Великих Лук также организовывались прямоугольные площади с церквями и лавками. На территории бывшей крепости предлагалось разместить казённые хлебные и соляные магазины. Генеральный план был в основном реализован.

В ходе Отечественной войны 1812 года отряд французской кавалерии Богарне 18 июля атаковал Велиж, при защите города полностью погиб отряд новобранцев, защищавший склады продовольствия Первой русской армии. Во время оккупации французы по приказу Наполеона превратили Велиж в зону отдыха для своих войск, включая представителей генерального штаба империи. Они предавались пьянству и установили режим террора и грабежей. Многие жители города и уезда бежали из зоны оккупации на север. В уезде успешно действовали летучие отряды русской армии под командованием Бенкендорфа и Волконского, истребившие немало захватчиков. За успешный рейд на Велиж с участием переодетых во французскую униформу русских солдат Бенкендорф был произведён в генералы, а Сергей Волконский — в подполковники. Помимо действий летучих отрядов в уезде развернулось крестьянское движение, защиты от которого местные помещики были вынуждены просить у французских оккупационных властей. 28 октября французы бежали из Велижа, на следующий день русские войска вошли в город. После бегства армии Наполеона в городе вместо 700 домов осталось 99, вместо 5285 жителей — 595.

После войны 1812 года город был успешно восстановлен. В 1817 году был утверждён генеральный план застройки города, который повторял общий предыдущий план. Заложенная структура улиц сохраняется по настоящее время. Центральная часть города в первой трети XIX века была застроена каменными зданиями. В 1863 году произошёл крупный пожар, сгорело более 500 домов левобережной части. К 1897 году население Велижа составляло 12 193 жителя, в том числе, евреи — 5984, белорусы — 5809, великороссы — 283. Город вёл активную торговлю по Западной Двине с Витебском, Полоцком, Ригой. Широко был развит «водный промысел» — сплав леса. В городе насчитывалось 11 церквей, 1 костёл и 8 синагог. Велиж в XIX веке сохранял значение крупного торгового города. Так, в 1859 году было отправлено товаров на сумму 130 тысяч рублей. В городе и уезде бурно развивалось производство строительных материалов: кирпича, извести, пиломатериалов, стекла. В середине XIX века в Велиже насчитывалось 7 кирпичных заводов.

В ноябре 1918 года в районе вспыхнуло антисоветское восстание, часть общего антисоветского восстания на севере Смоленщины и Витебщины, вызванного злоупотреблениями представителей советских властей. 15 ноября повстанцы захватили город, но уже 23 ноября восстание было подавлено силами Витебского ГубЧК. Антисоветское повстанческое движение в уезде продолжалось до конца 1920-х годов.

1 января 1919 года согласно постановлению I съезда КП(б) Белоруссии Велиж вошёл в состав Белорусской ССР (которая была частью РСФСР) и стал центром уезда («подрайона») Витебского района. Однако уже 16 января 1919 года было принято решение о включении города непосредственно в состав РСФСР. С 18 июля 1927 года до 1929 года Велижский район входит в состав Великолукского округа Ленинградской области. С 1929 по 1937 годы — в состав Западной области. С 27 сентября 1937 года является районным центром Смоленской области.

Годы Великой Отечественной войны

9 июля 1941 года Велиж подвергся немецкой бомбардировке, были убиты сотни жителей города. Утром 13 июля 1941 года к городу подошли передовые части 20-й танковой дивизии из 3-й танковой группы Германа Гота. 83-й Слободкинский пограничный отряд НКВД СССР и истребительный комсомольский батальон народного ополчения Велижа, получившие приказ прикрыть отступление советских войск, оказали немецким войскам ожесточённое сопротивление, длившееся до 14 июля и стоившее противнику более 60 танков и значительного числа погибших. Последними защитниками города стал отряд ВНОС, забаррикадировавшийся в зданиях в центре города и уничтоженный гитлеровцами только после доставки на передовую огнемётов.

В городе размещался полк 8-й кавалерийской дивизии СС «Флориан Гейер» и части 83-й пехотной дивизии вермахта, Велиж становится важным транспортным узлом немецких войск. В сентябре 1941 года оккупационные власти организовали еврейское гетто по улице Жгутовского в помещениях частных домов и свинарнике, люди жили в них в условиях крайней тесноты и антисанитарии, оккупанты регулярно производили бессудные казни. 29 января 1942 года нацисты и их пособники в преддверии советского наступления уничтожили гетто: заживо сожгли в деревянных постройках более 1000 велижских евреев, а всего в Велиже гитлеровцами было уничтожено их более 2000. За время оккупации и боёв за город погибло около 20 000 жителей города и района, с тех пор Велиж не восстановил довоенную численность своего населения.

8 января 1942 года началась Торопецко-Холмская операция одновременно с Ржевско-Вяземским наступлением советских войск. 2 февраля 1942 года была освобождена правобережная сторона Велижа. С января 1942 года по сентябрь 1943 года по территории Велижа проходила линия фронта, в городе и его окрестностях сражались бойцы 4-й Ударной армии. В ходе ожесточённых позиционных боёв потери советских войск в боях за Велиж превысили 50 000 человек, противник потерял около 30 000. На территории района осталось более 70 братских могил и воинских захоронений, 37 памятных мест. Священным местом в Велиже является мемориальный комплекс Лидова Гора, где захоронены около 10000 воинов, отдавших свою жизнь за освобождение города и района.

20 сентября 1943 года войсками Калининского Фронта в ходе Духовщинско-Демидовской операции Велиж был освобождён силами 4-й ударной армии. Вечером 20 сентября 1943 года на колокольне Свято-Духовского собора был поднят красный флаг. Его водрузили бойцы 358-й стрелковой дивизии. Основные архитектурные памятники — церкви, ратуша, синагоги и костел — были полностью разрушены в ходе двухлетних боев за город, бомбардировок и артобстрелов. Помимо памятников архитектуры были уничтожены все прочие здания в городе, кроме нескольких случайно уцелевших деревянных построек. Современный Велиж построен практически «с нуля» и лишён большей части некогда богатого архитектурного наследия.