Вновь претерпел большое разорение наш город в 1480 году, когда хан Ахмат после «стояния на Угре», знаменовавшего окончательное падение татаро-монгольского ига, поджег и ограбил Козельск. Однако татары поспешили уйти, боясь возмездия со стороны русских.
Усилив в Козельске гарнизоны, Иван III начал строительство Козельской засечной черты, назначение которой состояло в охране подступов к Москве. Тридцать верст Козельской засечной черты — а она составляла часть общей засечной черты от польской границы до Рязани — были укреплены рвами, настами, лесными завалами, имели пять ворот с надолбами и опускными колодами (шлагбаумами). Крепость и стены Козельска в третий раз были отстроены заново.
Еще более укрепился Козельск как опорный пункт обороны Московии во второй половине шестнадцатого века. Иван IV (Грозный) обезопасил Козельск сторожевой линией с деревянными крепостями. Город был окружен деревянными рублеными стенами с двумя проезжими и шестью глухими башнями. Стена имела длину около четырехсот саженей, земляной вал — 450 саженей. Протяженность Козельской засеки составила ужо 111,6 версты. В этой засечной черте были установлены пять укрепленных ворот в районе теперешних населенных пунктов Буда, Кцынь, Кирейково, Киреевское, Шепелево.
Иван Грозный в 1566 году лично приезжал в Козельск для осмотра состояния засечной черты, наличия засечной стражи, ее готовности к обороне подступов к Москве. Царь нашел, что все это находится в плохом состоянии. В страшном гневе приказал он арестовать козельского князя Лузину, а Козельскую волость передать в опричнину.
Устная легенда повествует о том, что князь Лузина бежал от царского гнева в Литву, где был принят на службу к королю. В подтверждение этой легенды можно сказать, что и сейчас в городе Гвоздеце, что в Западной Украине, имеется католический монастырь, в одном из костелов которого на мемориальной доске выгравировано: «Церковь сия построена… вдовой… князя Козельского Михаила Лузины».
Грозный стал ссылать под Козельск на охрану засечной черты от набегов врагов провинившихся и ненавистных ему людей. Об этом, в частности, рассказывается в известном романе А. К. Толстого «Князь Серебряный». Царь приказал князю Никите Романовичу Серебряному и прибывшему с ним к царю отряду станичников: «Пусть идут к Жиздре в сторожевой пост. Коль охочи они на татар: будет им с кем переведаться». А потом в романе описывается, как отряд, возглавляемый Никитой Романовичем, углублялся в темные леса, которые соединялись с Брянским дремучим лесом: это и есть наш Козельский лес.
Как известно, роман «Князь Серебряный» заканчивается кратким сообщением: «Через семнадцать лег вспомнил Грозный, что он послал Серебряного к Жиздре служить. Но старый боярин, бывший когда-то воеводой в Калуге, отвечал, что князь в тот самый год, как пришел на Жиздру, убит татарами и вся его дружина вместе с ним полегла».
Напрасно мы стали бы искать могилу князя Серебряного. Он не был историческим лицом. Это — собирательный образ, прототипом которого был ряд живших во времена Грозного людей. Но мы должны гордиться тем, что здесь, в наших местах, жили мужественные русские люди, не жалевшие жизни для всей Руси.
По завещанию Грозного Козельск достался его сыну Федору.
Козельск в семнадцатом веке являлся не только укрепленным пунктом, но и торговым городом, в котором насчитывалось более пятнадцати тысяч жителей. Это был один из лучших окраинных городов. Вокруг него были построены слободы: Казачья, Заречная, Стрелецкая, или Солдатская, получившая потом название Инвалидной. Издалека съезжались в Козельск торговые люди на ярмарки и базары. По старинной традиции ярмарки в Козельске проводились два раза в год: в конце весны и глубокой осенью. Козельчане тоже ездили во многие города со своими товарами.
В Козельске было 40 церквей. Большую известность получил основанный еще во времена Ивана III монастырь Оптина пустынь. Легенда повествует о том, что монастырь был создан бывшим предводителем шайки лесных разбойников Оптой, принявшим при пострижении в иночество имя Макария. Первое время монастырь служил целям обороны родины, был рассадником просвещения.
Первая крестьянская война, вспыхнувшая в начале XVII века, широкой волной охватила и Калужский край. Намучившись от бояр и боярского царя Василия Шуйского, крестьяне наших мест поддержали вождя крестьянского восстания Ивана Исаевича Болотникова. Часть войск Болотникова при поддержке местных жителей заняла города Козельск, Венев, Михайлов.