От Подвинской башни линия стен поворачивала на запад и шла вдоль Двины. Здесь находилась двухъярусная Храповицкая башня с квадратным основанием 7,5Х7,5 м. Далее стояла старая каменная башня («палата каменная») размером 10,7Х10,7 м.
Башни соединялись каменными стенами, местами с деревянными городнями-тарасами, нарубленными сверху. Имелись участки чисто деревянных укреплений. На галерею верхнего боя попадали через «ганок» с лестницей.
Стены старого каменного замка с напольной стороны достигали высоты 3 с половиной сажени, т. е. около 7,5 м. Со стороны менее опасной, от Двины, высота стены до зубцов равнялась 2 саженям с четвертью, т. е. около 4,5 м.
Общая длина укреплений Верхнего замка измерялась 392 саженями без четверти, т. е. около 665 м. По башням стояли 4 полуторные пушки, 2 шмаковницы, 12 затинных пищалей. Местами на стенах лежали бревна («катки»).
Инвентарь отмечал, что. в осадное время в Верхнем замке «емлют воду в калитку-фортку из Видбы реки».
Совершенно заново к 1656 г. был отстроен Нижний замок. Здесь имелось трое ворот («Жидовские большие ворота», «Заручайские большие проезжие ворота», «Витебские проезжие большие ворота»), одна «Задунайская фортка» и 9 глухих башен. Все они были 4-угольные в плане. Исключение составили башни-круглики — Мещанский и Духовской, рубленные в 8 стен. Почти все башни имели по 3 яруса боя. На 5 башнях размещались караульни-трапила, на двух по краю крыши были помосты с перилами для наблюдателей. Под башней Напрудной находился тайник с водой. Лишь однажды инвентарь упоминает остатки стен древней каменной башни, на которых, как на фундаменте, возвели башню Швыйковскую. Городни имели 2 яруса боя. Городни срубили толщиной в 2 бревна. На боевую галерею с двухскатной крышей попадали по деревянным лестницам. К башням примыкали «ганки» для взволакивания пушек. С приступных сторон перед башнями и стенами размещались дополнительные преграды в виде рогаток и частика, косого острога, надолбов, решеток, тына или палисада.
Нижний замок защищался 18 пушками и 51 затинной пищалью. Общая протяженность укреплений Нижнего замка достигала 599,5 сажени.
В систему обороны Узгорского замка входила деревянная мельница, стоявшая на Витьбе и соединенная пряслами стен с Верхним замком и Подвинской воротной башней. Мельница имела 2 «мосты» и 2 яруса боя. На склоне Лысой (Пречистенской) горы находились Подвинские ворота с тремя «мостами» и тремя боями, 4-угольные в плане (7,5Х7,5) с шатровым завершением и брусяным трапилом.
Далее стояли Пречистенский «бычок», Пречистенская башня с тремя боями. Роговая башня с четырьмя боями и трапилом, башня средняяи Суражские ворота. В воротах, размером в основании 10,5Х10,5 м, было 3 «моста» и 3 яруса боя, брусяное трапило. Затем в направлении Витьбы и вдоль ее размещалось 5 башен и еще одни ворота — Кстовские. Линия укреплений подходила к монастырской мельнице, которая также была, как и мост через Витьбу, приспособлена к обороне. Таким образом, в Узгорском замке имелось 13 башен.
Документы за 1664—1665 гг. ничего не говорят о «Малеваной браме», а также о башнях и стенах, стоявших вдоль Витьбы в 1654 г. Не исключено, что их разобрали, считая достаточно надежной защитой высокий берег реки, мельничные запруды и стоявший на противоположном берегу Витьбы комплекс фортификаций Верхнего и Нижнего замков.
С востока Узгорский замок имел широкий (до 8,4 м) и глубокий (до 4,0 м) ров с дополнительно поставленными рогатками, тыном и частиком. Длина рва достигала 169 саженей.
С остальных трех сторон замок защищали воды Двины и Витьбы. От Витьбы, как отмечает инвентарь, «…летом приступу в том месте за водою быть нельзя, а зимнею порою ставят на том месте рогатки и лед скалывают». Видимо, это же делалось и на Двине. Защищали Узгорский замок 13 пушек разного калибра и 68 затинных пищалей, расставленных по периметру укреплений протяженностью более 1800 м.
В целом инвентарь 1664—1665 гг. зафиксировал самые разнообразные типы существовавших тогда деревянных оборонительных сооружений, разнообразных башен, имевших суровый и впечатляющий вид. Большинство из 33 башен Витебска заканчивались дозорными трапилами, нередко увенчанными флюгерами — «ветренниками».
В 1667 г. Витебск был возвращен Речи Посполитой. В составленном по этому поводу инвентаре говорится о 28 башнях, четырех «бычках» и двух калитках-фортках. Видимо, тогда же город был уравнен в правах со столицей Великого княжества Литовского — Вильно.
Судя по сведениям стольника Петра I М. Цызырева за декабрь 1701 г. и чертежу, сделанному им «тайным обычаем», можно предполагать, что Витебские укрепления были в то время еще в довольно хорошем состоянии.