В 1393 г. мятежный князь Свидригайло отражал здесь штурмы коалиции трех князей — Витовта, Скиргайлы и смоленского Юрия Святославовича. Лишь после 4-недельной осады с большим трудом был взят Нижний замок. Затем Витовт, «заточив дела в церкви мурованой в Нижнем замку, розбивал мур замку Вышнего беспрестанно». Сделав проломы в стенах и башнях, осаждавшие готовили общий штурм, но витебляне, не имевшие достаточно продовольствия, сдали замок.
В 1396 г. Свидригайло с согласия горожан снова овладел Витебском, и войску Витовта пришлось опять штурмовать город. Нижний замок удалось занять только после 30-дневной осады и всеобщего штурма. В Верхнем замке, защищавшемся не менее упорно, сосредоточилось так много людей, что была сделана попытка вывести оттуда женщин и детей. В сутолоке ворота замка открыли не вовремя и осаждавшие ворвались в него.
В 1435 г. Витебск снова открыл ворота Свидригайло, и опять город 6 недель находился в осаде, но взять его войску Жигимонта не удалось. Лишь в 1437 г. после упорной защиты «полочане и витебляне, не маючи собе ниотколь помочи», признали власть великого князя Жигимонта.
Вторая половина XV в. прошла для Витебска более или менее спокойно. Король Казимир дважды, в 1451 и 1469 гг., был здесь, инспектировал укрепления порубежного города и дал его жителям «Уставную грамоту», регламентировавшую их жизнь и деятельность. Грамота зафиксировала фактическую автономию Витебской земли, права и обязанности горожан, местных феодалов и боярства.
Одной из основных повинностей местных жителей было участие в военных походах: «А на войну быти им с нами посполу готовыми».
В Витебске существовала особая группа населения, так называемые «конные мещане», которые, живя в городе, одновременно владели имениями, служа за это государству «конем». Главной их обязанностью было несение службы «збройно» в конном земском ополчении во время «посполитого рушенья» вместе со шляхтой. Во второй половине XVI в. конные мещане выставляли 100 лошадей. Вдобавок они «оправляли» Замковую гору, строили острог, несли сторожевую службу.
Документы XV—XVI вв. называют ряд обязанностей горожан, связанных с охраной и ремонтом укреплений.
Как и в других городах Белоруссии, местные жители сторожили в воротах и «на обламах в ночи кликали», должны были «строить городни и башни и их глиною мазати». «Сторожа городовая» касалась всех, включая церковников, а также людей боярских, имевших жилье в Витебске и по селам Витебского повета. В 1530 г. король Сигизмунд обязал последних «ворот городовых стерегивать» и «сторожу к воротам городовым приставляти и чинити».
К ремонту и военно-строительным работам в Витебске постоянно привлекались «водлуг стародавнего звычая» Усвятская и Озерищенская волости: «по 4 недели у год, 2 недели в лесе, а 2 недели в замку робити».
При необходимости «городовую работу» выполняли в Витебске жители и других городов и волостей. Так, в 1514 и 1529 гг. из Лиды, Белицы, Василишек, Маркова, Перелома, Радуни и Посожья было послано более 100 человек, а из Браслава и Оникшт — 70 и 50 «топоров». В 1529 г. сюда же в замковые «шпихлеры» из разных мест доставлялся хлеб.
С начала XVI в. Витебск попал в полосу частых военных походов, совершавшихся царскими воеводами на протяжении полутора веков. В 1502 г. были сожжены предместья города, а в 1516 г. сам Витебск долго выдерживал осаду. Замок, однако, выстоял. Опустошение повторилось в 1519 г., когда Нижний замок был взят и при осаде погибло много жителей. Уцелевшие «отсиделись» в Верхнем замке. В 1534 г. князь Борис Горбатый вместе с Новгородско-Псковской ратью опустошил все окрестности, но город взять не сумел. В июле 1535 г. стало известно, что русские воеводы Кислица и Ляцкий пришли в Великие Луки. Как сообщили маршалку Ю. Радзивиллу, у них было «сорок тысяч людей, а дел сорок, а мають Витебска доставать». Сведений о том, состоялся этот летний поход на Витебск или нет, не имеется. Однако в том же 1535 г., в конце ноября, новгородско-псковские рати, ведомые 10 князьями, во главе с князем Б. И. Горбатым «воевали Витепские места». Летом 1536 г. войска князей Горенского и Барабашева сожгли Витебский посад, захватили в плен многих горожан и окрестных волощан.