Защищали ворота с невероятной стойкостью. Только немногие из окружавших Коновницына в этот день уцелели и остались невредимы. Сам он, раненный в руку, даже не позволил сделать себе перевязки, чтобы ни на миг не ослаблять ряды своим отсутствием; обернув руку платком, он во весь день оставался в строю, носясь перед ними на своем белом коне и распоряжаясь всем ходом сражения, которое закончилось только ночью. Огонь был настолько силен, что несколько раз пришлось переменять поставленные в воротах четыре орудия с прислугой. Причем не только люди и лошади, но и пушки полностью выходили из строя. В самый критический момент, когда французы все же ворвались в ворота и «жестокая сеча» закипела внутри ограды, на помощь подоспел с 4-й дивизией принц Евгений Вюртембергский, подкрепивший частью своих полков Дохтурова, отбивавшегося от наседавших Понятовского и Нея, а с остальными вместе с Коновницыным ударил в штыки, и французы были выбиты из крепости. Отбились и на других участках. Несмотря на огромный перевес в силах, враги не смогли сломить упорство мужественных защитников. В семь часов вечера была их общая атака на крепость, но и она не принесла им успеха. Тогда артиллерия, усиленная сотней тяжелых орудий, обрушила весь свой удар на город, подвергая его полному разрушению.
Ночью с 5-го на 6-е русские войска оставили Смоленск. Арьергардом командовал Коновницын и вышел из города последним. Рано утром армия остановилась на позиции на правой стороне Днепра. Мост горел. От него загорелось предместье, стрелки, прикрывавшие берег, не находили себе места от огня, стали прятаться в садах, где жар испекал яблоки на деревьях, поэтому и там они не могли в достаточной мере уберечься от пожара. Этим воспользовались французы. Переправившись выше города вброд, они чуть ли не вплотную подобрались к нашим батареям. Барклай был вынужден снова обратиться к Коновницыну. На виду у всей армии Петр Петрович с первыми подвернувшимися войсками ударил с горы от кладбища в штыки. Многие французы пали на месте, а остальные были обращены в паническое бегство, сброшены в Днепр и почти все были утоплены в нем, причем в плен было взято 8 штаб-офицеров. Это было третье сражение с французами, в котором участвовал Петр Петрович. В результате его русские стрелки целый день удерживали французов на той стороне реки.
На следующий день произошло сражение при Лубине, явившееся естественным продолжением Смоленской битвы. По наведенному выше города мосту, французы переправились через реку с намерением отрезать пути отступления русской армии, чтобы навязать ей генеральное сражение, так желаемое Наполеоном. Трехтысячный отряд Павла Тучкова, идя в авангарде, вышел у Лубина с проселочной дороги на Московскую столбовую и двинулся от перекрестка к Смоленску с намерением прикрыть армию со стороны города. Это было сделано необыкновенно кстати. Ему тут же повстречался корпус Нея. Завязалось сражение, ставшее в результате чуть ли не генеральным. В самый критический момент Коновницын со своей дивизией поддержал Тучкова, по своему обыкновению ударив в штыки, и восстановил прерванную было неприятелем линию. Французы бешено атаковали, но не продвинулись ни на шаг. У Заболотья он оттеснил неприятеля на всех пунктах, невзирая на жесточайший огонь, а на правом фланге отбросил французов на большое расстояние и удержал за собою место сражения. Особенно жарким было дело к вечеру, когда в лесных местах колонны должны были сойтись в рукопашную. Неприятель был опрокинут и назвал это сражение «aux boix des innocents» — битвой в девственных лесах.
Тем временем русская армия вышла к Московской дороге и в полном порядке отступила. В грамоте о награждении графским титулом об этом сражении сказано так: «7-го при Любовичах, где командовал многим числом войск и удержал место…» Награда за дела при Смоленске нашла его уже в Пруссии. Это был орден Владимира 2-й степени.
Русская армия с тяжелыми арьергардными боями отступала по столбовой Смоленской дороге. Вечером 16 августа, после оставления Вязьмы, Коновницын был назначен командовать арьергардом обеих армий, который усилили его дивизией и регулярной кавалерией. С рассветом неприятель занял город и крупными силами рвался раздавить арьергард. По малочисленности артиллерии Петру Петровичу пришлось перебросить часть войск под командованием барона Крейца со своего левого фланга к центру, предупредив Дорохова, которого тот прикрывал по Бельской дороге, чтобы он выставил свое боевое охранение.