Во время Ливонской войны Витебск трижды осаждали царские войска. В 1562 г., в конце мая, от Великих Лук к нему ходило большое войско во главе с князем А. М. Курбским. Нападение повторилось в 1563 г. Затем в 1568 г. (по другим сведениям в 1569 г.— М. Т.) здесь побывало шеститысячное войско воевод Шереметьева, Бутурлина и Сабурова.
О состоянии городских укреплений Витебска в середине XVI в. можно судить по «Хронике Литовской и Жмойтской», которая отметила, что от каменных укреплений осталась лишь одна разрушенная стена, да сильно поврежденная «мурованая вежа», стоявшая над Двиной.
17 марта 1597 г. король Жигимонт III дал Витебску магдебургский привилей. Город получил герб («в блекитном полю образ святого Спаса Збавителя нашего, и при том зараз трохи нижей меч голый червоный, што ся мает розуметь кровавый»), хоругвь, под которую мещане становились «под час посполитого рушенья и потребы военное». Каждый ремесленный цех также получал свое знамя. Привилей напоминал о военной повинности горожан, которая за ними по-прежнему сохранялась.
В 1614 г. в Витебске сгорели оба замка — Верхний и Нижний, восстановление которых затянулось на долгие годы. В 1626 г. случился новый пожар, уничтоживший Верхний замок и район Задвинья.
По свидетельству одного велижского жителя, побывавшего в Витебске в 1632 г. с явно разведывательными целями, город выглядел следующим образом: «От Сурожи 40 верст город Витебск почат город делать земляной да не доделан, а стоит на горе, а не строен, взять его мочно 500 человек, дворов мещанских с 2000, стоят не стройно, врозни, а живут люди не боевые, войны не знают». Последние слова истины, безусловно, не отражали, но косвенно говорили об отсутствии в то время в Витебске гарнизона регулярных войск, т. е. людей «знающих войну». Поскольку тогда Верхний и Нижний замки были каменными, есть все основания полагать, что «земляной город» — это укрепления Узгорского замка, который начали сооружать.
Облик Витебска второй четверти XVII в. хорошо отразили три инвентаря города — за 1638, 1639 и 1641 гг. Из них видно, что замок «Вышний» был сильно разрушен. Называются его «великая Вышняябашта», стоявшая справа от входной брамы Великой, «башта Кругликовая», на которой находилось 4 большие и 5 меньших пушек, «форта», выводившая к речке Витьбе и мельнице, каменная стена, шедшая к «браме Великой». На территории замка стояло 52 дома, 34 из них принадлежали панам воеводства, остальные — состоятельным мещанам, пушкарям, палачу, старцу Сорицкой волости и др. В цейхгаузах Верхнего замка в конце 30-х годов XVII в. хранилась военная амуниция. Из огнестрельного оружия называются «5 дел», не совсем исправных, 8 шмыговниц, 80 гаковниц, 5 гаков-ниц, «отданных ремесленикам для описи», 1 железный штурмак, 10 железных киев, 1 форма для отливки пушечных ядер и 8 форм гаковничных. Имелись также 50 каменных ядер, видимо, вышедших из употребления.
Нижний замок был «весь опавший». Инвентарь, составленный 7 сентября 1638 г. скарбовым королевским слугой Я. Быковским, отметил на речке Витьбе и ручье, омывавших кругом оба замка, два «опустевшие ставища и прорвы в греблях, которые при хорошем порядке были бы водой наполнены и залиты». В Нижний замок вели три въездные брамы — Заручайская, Завитебная («Рынковая»), Задунайская. Со стороны Западной Двины имелась небольшая «форта Жидовская», которую направляла и строила еврейская община города. Все это после недавних пожаров отстраивалось и надстраивалось из дерева. Брама Заручайская, покрытая дранкою, имела перед собой новый подъемный мост.
Вторая брама — Завитебная («Рынковая») также была «низко построенная», деревянная, с ненакрытой крышей. Она открывала дорогу к мосту через Витьбу и далее в Узгорский замок. Пряслом каменной стены башня соединялась с укреплениями Верхнего замка. В направлении Задунайской брамы шел участок каменных укреплений с каменной башней, на верху которой начали возводить деревянный ярус. Участок обороны между этой башней и Задунайской брамой представлял собой комбинацию двойного штакета и старой каменной стены. Такое же прясло отходило от брамы и шло по высокому склону Нижнего замка над «замковым ставом», упираясь еще в одну старую каменную башню. На ней также начали делать деревянную надстройку. От башни на протяжении 26 шагов шла каменная стена, затем прясло из деревянных избиц, накрытых драницами. Далее стояла каменная башня Нарожная. В момент составления инвентаря ее надстраивали из дерева и она стояла пока без помоста. Отсюда к Заручайской браме шла каменная стена, местами стояли деревянные «избицы», упиравшиеся в браму. От нее отходила каменная стена в 160 шагов, соединявшаяся с «фортой Жидовской», на которой также был деревянный надстроенный ярус. От «форты» подымался к Верхнему замку последний отрезок каменной стены более 40 шагов длины.