С раннего утра 5 (17) августа все наполеоновские войска стояли в ружье, за исключением вестфальского корпуса генерала Жюно, который сбился с дороги и пришел на свою позицию не раньше пяти часов дня. Это, кстати сказать, было лучшим доказательством того, что на первом своем шагу в коренную Россию неприятель уже лишился необходимого пособия на войне: надежных проводников.
С восходом солнца Наполеон был в седле, ожидая, скоро ли откроются городские ворота и из них выступит русская армия для принятия сражения. Но Барклай-де-Толли видел все совершенно иначе. Он полагал, что маневр, предпринятый Наполеоном, имеет целью отрезать 1-ю и 2-ю армии от южных губерний России и от находившейся там 3-й армии А. П. Тормасова.
По этой причине Михаил Богданович решился на следующее: 2-я армия должна была отступить на восток, оставив у Смоленска, на стратегически важной Московской дороге, впереди речки Колодни, авангард под начальством князя Горчакова; для прикрытия движения князя Багратиона 1-й армии следовало занять одним корпусом Смоленск, а прочим корпусам — расположиться возле города, но на правом берегу Днепра.
Барклай-де-Толли решил прикрывать 2-ю армию до тех пор, пока она не достигнет Соловьевой переправы на Днепре, которая была ключевым пунктом в его замысле.
Эти распоряжения и начали приводиться в исполнение в ночь с 4 на 5 августа.
Когда Наполеон отдал приказ о штурме Смоленска, Барклай-де-Толли уже успел поставить на позициях артиллерию, расположить войска на наиболее угрожаемых участках, разместив свой командный пункт напротив предместья Раченка.
Активная ружейная перестрелка началась в восемь утра, а через два часа французы пошли в атаку, однако ворваться в город не смогли. Тогда Наполеон бросил на штурм Смоленска сразу три корпуса — Нея, Даву и Понятовского. На пути этих войск встали полки Д. С. Дохтурова, П. П. Коновницына, принца Евгения Вюртембергского и Д. П. Неверовского.
Стоит отметить, что город Смоленск лежит по обе стороны Днепра. Главная его часть, окруженная древней крепостной стеной высотой до двадцати метров, воздвигнутой из камня и кирпича еще во времена Бориса Годунова, была построена на левом берегу. Обширное Санкт-Петербургское предместье находилось на правом берегу, не таком крутом, как левый, но совершенно над ним господствующем.
5-го числа сражение продолжалось целый день. Лишь поздно вечером канонада и перестрелка постепенно стихли: французы обложили город с трех сторон, русские — город удержали.
Взять хорошо укрепленный город прямым штурмом не представлялось возможным. Впрочем, Наполеон, скорее всего, и не стремился к этому. Он всячески пытался выманить русские войска на левую сторону Днепра для решительного сражения в поле, однако его ожиданиям не суждено было сбыться.
В. И. Левенштерн написал впоследствии в своих «Записках»:
«Главнокомандующий объехал все пункты, коим угрожала опасность, и остановился на нашем крайнем левом фланге, на возвышенности возле церкви Гурия, Самсона и Авивы, маскировавшей батарею с двенадцатью орудиями, коей командовал полковник Нилус. Он приказал открыть огонь. Неприятель отвечал на него энергично. Это был настоящий ад.
Генерал Барклай, бесподобный в таких случаях, по-видимому вовсе не думал об опасности, коей он подвергался, и отдавал приказания с величайшим хладнокровием» [8. С. 357].
Французы несли огромные потери, но упорно шли вперед. Русские тоже отбивались с ожесточением. Командир бригады 7-й пехотной дивизии генерал-майор А. И. Балла был убит. Генерал Коновницын был ранен в руку, но не отвлекся даже на перевязку. Генерал Дохтуров, державшийся из последних сил, вскоре попросил у Барклая-де-Толли подкреплений. Михаил Богданович послал к нему 4-ю пехотную дивизию принца Евгения Вюртембергского, сказав:
«Передайте Дмитрию Сергеевичу, что от его мужества зависит сохранение всей армии» [19. С. 265].
Ночь с 5 на 6 августа Барклай-де-Толли провел под открытым небом в раздумьях, а на другой день, несмотря на бурные протесты импульсивного князя Багратиона, он принял решение не рисковать более и дал приказ основным силам отступать по Московской дороге в сторону Лубина и Соловьева.
Решение это было как нельзя более своевременным и обоснованным, ибо в результате ожесточенной канонады предместья Смоленска оказались охвачены огнем и оборонять их стало практически невозможно.