До наступления темноты, прекратившей сражение, корпус А. И. Остермана-Толстого, лишившийся более трети своего состава, стоял на своем месте так, как будто бы врос в эту землю, покрытую телами лучших сынов России, которых она лишилась в этот день.
«Баталия, 26-го числа бывшая самая кровопролитнейшая из всех тех, которые в новейшие времена известны. Место баталии нами удержано совершенно, и неприятель ретировался тогда в ту позицию, в которую пришел нас атаковать. Но чрезвычайная потеря и с нашей стороны сделанная, особливо тем, что переранены самые нужные генералы, принудила меня отступить по Московской дороге», — говорилось в одном из донесений М. И. Кутузова. Но и в то время, когда писались эти строки, никто в армии не подозревал, что это движение к Можайску и далее было прологом к оставлению Москвы.
1 сентября 1812 года в деревне Фили, находившейся всего в четырех километрах от Москвы, они собрались под соломенной крышей избы крестьянина Фролова. Когда Остерман вошел в горницу, первое, что он с болью заметил, было то, как мало их уцелело после Бородинской битвы. Из генералов 2-й Западной армии до сих пор никто не явился. Остерман присел к столу и, не вступая ни с кем в беседу, стал прислушиваться, о чем говорили вполголоса другие. Впрочем, ему можно было не прислушиваться. Он хорошо знал всех присутствующих и заранее мог угадать, кто как поведет себя на военном совете. М. И. Кутузов сидел в стороне молча. Было очевидно, что он уже принял решение, иначе бы он не созывал их сюда. Д. С. Дохтуров, не скрывая своих мыслей, говорил сидящему рядом П. П. Коновницыну: «При одной мысли об этом волосы становятся дыбом»; а Коновницын отвечал ему со всей своею искренностью: «Дмитрий Сергеевич, да об этом не может быть и речи». Бывший здесь же Ф. П. Уваров рассчитывал, что все решится без него, потому что и в прежние времена, стараясь убедить кого-либо в чем-либо, он начинал излагать свои доводы словами: «Это говорю вам не я, а люди, которые гораздо умнее меня». К. Ф. Толь разворачивал на столе карту, взглядывая на М. И. Кутузова. Самоуверенный и дерзкий с другими, по отношению к Кутузову он чувствовал, как и прежде, себя учеником шляхетского корпуса, где Кутузов был когда-то директором. Ермолов отлично сознавал, что все равно будет так, как уже решил главнокомандующий, и готовился подать свое мнение, исходя из интересов сохранения своей собственной воинской репутации, он по-прежнему делал вид, что считает себя «молодым человеком», не знающим, на что решиться. Главнокомандующий 1-й армии М. Б. Барклай-де-Толли, одиноко сидя под образами в углу горницы, страдал от всего разом: от нервной лихорадки, от того, что его прежде обзывали изменником, отстранили от поста военного министра, и от того, что в Бородинском сражении он так и не нашел смерти. Из личных благ он уже не дорожил ничем и собирался высказываться решительно.
Остерман разделил столько бед и опасностей с этими людьми, так привык к ним, что ему казалось естественным, что они собрались вместе, когда у них было так тяжело на душе. И лишь одного человека он не принимал сердцем, презирал и ненавидел — начальника Главного штаба барона Беннигсена, человека без отечества. Чего стоили все его военные дарования, если в его жизни не было главного, того, чем были наполнены жизни Остермана и его соратников, — преданности своей Родине. Остерман не особенно вслушивался в то, что говорил Беннигсен, его раздражал самодовольный вид генерала, который рассуждал о гибели русской армии и потере Москвы как о чем-то постороннем. «Есть ли у вас уверенность в том, что сражение будет нами выиграно?» — спросил он, зная, что утвердительного ответа на этот вопрос быть не может, но далее слышать витийство Беннигсена для него было невыносимо. Когда же спор генералов ушел в сторону от вопроса, оборонять ли им Москву или сохранить армию, и они заговорили о том, где лучше положить войско на позиции, избранной Беннигсеном или самим напав на неприятеля. Остерман задумался. Ему отчего-то вспомнился рассказ Кутузова о том, как перед штурмом Измаила Суворов собрал на военный совет генералов, положил перед ними на стол чистый лист бумаги и сказал: «Пусть каждый из вас, не спросясь никого, кроме бога и совести, подаст свое мнение». Больше всего на свете боялся Остерман, что его назовут трусом, отдавшим французам Москву. По словам А. П. Ермолова, он «несколько раз сходил с ума от этой мысли», но на военном совете Остерман-Толстой сказал то, что велела ему его совесть: «Москва не составляет России; наша цель не в защищении столицы, но всего Отечества, а для спасения его главный предмет есть сохранение армии». Совещание подходило к концу, когда приехал Н. Н. Раевский. Остермана интересовало, что скажет этот мужественный генерал. Раевский думал недолго: «Россия не в Москве, среди сынов она», — процитировал он стихи поэта Озерова. Кутузов, поднявшись со стула, произнес твердо: «Приказываю отступать».