После упорного боя, продолжавшегося с переменным успехом пятнадцать часов, французы вытеснили полки Дохтурова из предместий, но никак не могли преодолеть оборону из крепостных стен. Уже во второй половине пятого августа к ним подкатили тяжёлые орудия, и они повели из них огонь, дабы разрушить или пробить бреши. Но из этого ничего не вышло, хотя местами они палили практически в упор. Старинная русская твердыня не поддавалась самым крупным ядрам. Словно мячи, они отскакивали от стен, поражая рикошетом французов.
Вот что писал в своих мемуарах участник этого сражения французский бригадный генерал граф Сегюр: «Развёртывая штурм, наши атакующие колонны оставляли длинный и широкий след из крови, раненых и мёртвых. Говорили, что один из батальонов, повёрнутый флангом к русским батареям, потерял целый ряд в своём подразделении от единственного ядра. Двадцать два человека пали разом».
Видя всё это, Наполеон отдал приказ стрелять по Смоленску зажигательными снарядами. Он рассчитывал, что пожар в тылу защитников крепости станет его союзником во время штурма. Град зажигательных бомб ударил по деревянным постройкам, из которых в основном и состояли в это время все русские города. Смоленск запылал. Дома, сараи, склады, церкви — всё сделанное из дерева пожирал огонь. Гром сотен пушек, раскаты ружейной пальбы, густой, едкий дым от гигантского пожара, огромное, вздымающееся над горящим городом пламя, багрово-чёрные тучи, треск разваливающихся и рушащихся зданий, воинственные крики сражающихся, стоны раненых и грохот барабанов атакующей пехоты — всё смешалось в адской картине огромной битвы.
Убедившись в неудаче атак на город и крепость, Наполеон вечером, в двадцать часов, отдал приказ о прекращении штурма. Он не желал более терять своих людей в бесплодных атаках. Враг отступил.
К утру шестого августа Смоленск превратился в груду дымящихся развалин. Из трёх тысяч домов в нём едва ли уцелела пара сотен. Жителей в городе не осталось, тысячи беженцев, бросив всё, шли с войсками на восток или бежали в леса. Русские потеряли в этом сражении десять тысяч своих солдат, французы — двадцать. Но самое главное, обе русские армии теперь могли, совершив обходной манёвр, выйти на главную Московскую дорогу и, сохранив боеспособность, отступить в сторону Москвы.
Оставленный же в днепровских предместьях отряд егерей ещё сутки держал оборону, прикрывая отход войск.
Особое внимание французы обратили на одно место, на правом берегу Днепра, откуда стреляли без промаха. Каждый выстрел из зарослей убивал или наносил рану врагу. В результате пристального наблюдения был обнаружен хорошо замаскированный русский стрелок. Тогда враги открыли по нему огонь, выстроив на берегу целую роту солдат. Но и это не помогло. Французы продолжали нести потери. Подкатили несколько орудий, чтобы разбить в щепки те деревья, за которыми он укрывался. Ядра ударили по ивам, свалили их, но стрелок всё так же продолжал вести точный огонь. Подкатили ещё несколько пушек. Только к вечеру шестого августа он перестал стрелять. Те французы, которые вели огневой поединок со стрелком, на следующее утро, заняв предместье, пошли осмотреть его позицию. Они долго шарили по днепровскому берегу, пока в итоге не нашли того страшного стрелка. Он был один, совершенно один. Русский воин, сжимая в руках штуцер, лежал, опрокинувшись навзничь, среди обломков ив. Это был унтер-офицер егерского полка. История не сохранила имени безвестного героя, но потрясённые его умением и героизмом враги надолго запомнили подвиг русского воина и запечатлели его в воспоминаниях, написанных о походе Наполеона 1812 года, ставя в пример своим солдатам.
По военным соображениям, учитывая огромную растянутость своих коммуникаций, Бонапарт хотел остановиться в Смоленске и зимовать на линии Днепра. Этого желали и его маршалы со всеми войсками. Но политика требовала иного. Чтобы иметь возможность спокойной зимовки, до этого ещё нужно было успеть уничтожить все русские армии. Покоряя Западную Европу, Наполеон в 1805, 1806 и 1809 годах каждый раз сначала разбивал вооружённые силы своих противников. В русском же походе 1812 года всё было не так. Уже до занятия Смоленска у императора Франции провалились все его планы. Ему не удалось разбить не только ни одну из русских армий, но даже и дивизию из их состава. Неуловимые и вполне себе боеспособные, они ускользнули от разгрома между Неманом и Днепром.
Внутреннее положение в самой Франции, военные неудачи в Испании и сомнительная преданность вассалов и всех подневольных союзников означали крайнюю непрочность тыла. Чтобы встать на зимовку в Смоленске, Наполеону была необходима громкая и решительная победа.