Таким образом, витебский Нижний замок представлял собой 7-башенный комплекс каменных оборонительных сооружений.
Незначительную информацию сообщают инвентари об Узгорском замке. В 1639 г. называются 8 домов, в которых жили пушкари: Федор Букара, Есип Антип, Богдан Любка, Бучал, Федор Хазрук, Иван Бык. Еще один пушкарь — «Юрка» проживал в Слободском посаде в 1641 г.
Сейм Речи Посполитой в 1654 г., накануне русско-польской войны, принял особое решение относительно обороны Витебска, игравшего большую роль в обеспечении безопасности восточной границы Великого княжества Литовского. Согласно этому решению, все мещане, духовные и светские жители города, посольские мещане» и все жители воеводства в случае опасности должны были становиться на защиту города под угрозой потери всех владений и привилегий.
В середине августа 1654 г. войска воеводы В. Шереметьева подошли к Витебску. Вскоре сюда же прибыл отряд украинских казаков во главе с В. Золотаренко. В городе к тому времени заканчивались запоздалые приготовления к осадному положению. Поскольку нового леса привезти не успели, разбирались «хоромные строения» и спешно возводились башни и острог. В дело пошел «хоромный лес» от кальвинистского сбора, дома пастора, училища кальвинистов и богадельни, домов многих горожан.
Началась 14-недельная осада Витебска, в котором было «всяких чинов людей… тысячей з 10». В их числе мещане всех восьми сотен — Вышнего города, Подвинской, Узгорской, Епископской («Владычной»); Задунайской, Зарецкой («Заречанской»), смешанной («Зарецкая и Верхнего города») и «Зарецкой Руси». Среди горожан было 42 пушкаря.
Осажденные отказались от пассивного сидения и делали «вылазки из города частые». Шереметьев доносил царю, что на его ратников «выходят пешие люди с рогатины и с топорки и бердыши». Атаки пехоты поддерживались мещанско-шляхетской кавалерией. Активно действовала городская артиллерия.
27 августа Шереметьеву было приказано «под Витебском промышлять подкопом и зажогом и зговором и разными военными промыслы, а приступать не велено, для того, чтоб в служилых людях истери не учинить». Осада перемежалась с попытками начать переговоры с витебчанами.
Осажденные в надежде на помощь затягивали время. Они выдвинули «пункты», на основании которых можно было вести речь о сдаче укреплений. Эти «пункты» Шереметьев отправил царю. Спустя некоторое время воевода доносил: «Витепские, государь, сидельцы про здачю города нам, холопам твоим, отказали, а приступать без твоего государева указу не смеем, а подкопщиков немецких и русских людей никого нету, а де зажегу у нас, холопей твоих, приготовлено щиты и возы с соломою из смоляными дровами, и бочки смоляные, и зажегу некоторыми меры не уметь, потому что в день и в ночь беспрестанные дожди». Из-за частых вылазок витеблян пешие стрельцы, драгуны и солдаты стояли «в шанцах… беспеременно в день и в ночь». Их подстраховывали казацкие сотни.
Было решено активизировать осаду. Сюда срочно направили «великую пищаль верховую — Скворец» с 10 огненными, 10 нарядными ядрами и 16 гранатами, а также еще одну стенобитную пушку. Над городом приказали «промышлять всякими промыслы накрепко, из верхового норяду снарядами стрелять и город зажигать, а где обыскав худые места и на те места велено приступать».
В сентябре войско Шереметьева пыталось штурмом взять город, но витебчане «отсиделись и устояли».
В конце октября 1654 г. под Витебск были переброшены новые царские полки «иноземного строю». Общее число войск достигло 20 тыс.
В осажденном Витебске наступил голод, от которого «немало людей посполитых и черни умерло». Много народа «из замков, с парканов и города перешло в Московское войско и присягнуло». Осажденные испытывали острую нехватку пороха.
22 ноября ожесточенным штурмом город был взят.
После приведения побежденных к присяге провели перепись оставшегося населения. На 30 января 1655 г. в Витебске числилось в 8 сотнях 1336 мужчин-мещан и 144 шляхтича под командой ротмистра Ф. Сивицкого. Тогда же составили инвентарь Верхнего замка. Протяженность его укреплений достигала 353 саженей. Они включали в себя деревянные и каменные стены и 6 башен. Описание позволяет реконструировать первоначальный облик каменного Верхнего замка XIV в. Получается, что тогда он имел 8 башен, в том числе большие проезжие ворота со стороны Нижнего замка, «фортку» к Витьбе, ворота к Двине, 5 башен по периметру. О размерах некоторых из них сказано следующее: «башня четырех сажень» и «башня каменная 5 сажень». Поскольку эти укрепления в XIV в. обычно строились квадратными, следовательно, их размеры были около 7Х7 и 8,8Х8,8 м. Толщина стен замка у основания достигала 3 м. Поверхность внешнего склона вала была вымощена булыжником.