С высоты своего положения в обществе, чина и должности Остерман никогда не позволял себе оскорбить достоинство подчиненного. Однажды с докладом к нему явился офицер, начавший рапортовать по-французски. Остерман потребовал от него, чтобы тот изъяснялся по-русски. Повинуясь приказу, офицер заговорил, с трудом подбирая и коверкая слова, из чего сделалось ясно, что русского языка он почти не знал. Едва находя себе место, Остерман дождался конца доклада, и как только офицер смолк, генерал обратился к нему по-французски и просил оказать ему честь быть у него в ближайшую пятницу на музыкальном вечере.
Как генерал-адъютант императора А. И. Остерман-Толстой изредка бывал при дворе, присутствуя на церемониях по торжественным случаям. «Как он, безрукий, красив был в своем генерал-адъютантском мундире, среди царедворцев!» — невольно восклицал современник.
Он появлялся, высокий, худощавый, с гордо поднятой головой, с вечной насмешкой в глазах и на языке и полупрезрительной улыбкой на тонких губах. Дух заискивания и чинопочитания был чужд характеру Александра Ивановича. С теми, кто готов был уронить свое достоинство в угоду влиятельным и сильным людям, он не церемонился. Однажды в его присутствии один из известных сановников витиевато принялся рассуждать о какой-то правительственной мере: «Если бы я имел честь заседать в Государственном совете, я бы позволил себе сказать…» — «Какую-нибудь глупость», — закончил за него фразу Остерман.
В дом к Остерману зачастил генерал П-ский, который часами мог говорить один за всех, никому не давая вставить слова. При этом он самодовольно поглаживал бороду, которая от природы была рыжая, но генерал П-ский, скрывая это, красил ее в черный цвет. Отвадить от дома надоедливого посетителя помог Остерману случай. К нему явился рыжебородый парень наниматься кучером. Остерман-Толстой сказал ему, что не любит рыжих, и посоветовал окрасить бороду в черный цвет, узнав секрет окраски у генерала П-ского. Ничего не подозревая, парень отправился по указанному адресу, передал поклон от графа Александра Ивановича и попросил рецепт окраски бороды. С тех пор генерал П-ский в доме Остермана не появлялся.
Зато в его особняке на Английской набережной продолжали часто собираться его соратники: М. А. Милорадович, В. Г. Костенецкий, А. П. Ермолов. Здесь бывала и военная молодежь, среди которой было немало декабристов: С. Г. Волконский, Д. И. Завалишин, Л. М. и В. М. Голицыны (последние трое — племянники генерала).
14 декабря 1825 года, подавив восстание декабристов, на престол в России вступил император Николай I. Независимый в суждениях, самостоятельный в поступках, твердый в понятиях о благородстве и чести, А. И. Остерман-Толстой вызывал отчуждение как у нового императора, так и у его приближенных.
19 декабря 1825 года А. И. Остерман-Толстой, исполняя обязанности генерал-адъютанта, дежурил во дворце. В конце дня его вызвал в кабинет Николай I и приказал сдать шефство над Павловским гренадерским полком своему сыну, 7-летнему наследнику престола цесаревичу Александру Николаевичу. Царь потребовал, чтобы Остерман-Толстой сам объявил об этом Павловским гренадерам и представил им нового шефа. Глядя на Остермана, самодержец всероссийский пытался обнаружить хотя бы тень смятения на лице генерала, которого он только что разлучил с его любимым полком. А Остерман несколько мгновений смотрел в глаза императора, и взгляд его говорил: «Стоит ли быть помазанником божиим и иметь неограниченную власть, когда употребляешь ее на то, чтобы унизить достоинство подданных?» Вместе с наследником престола Остерман вышел в зал, где была выстроена шефская рота Павловского гренадерского полка. Он твердым голосом объявил, что покидает полк, и представил нового шефа. Пока генерал произносил эти слова, он успел обвести глазами строй солдат, и это было его прощание с ними. Павловские гренадеры напряженно смотрели на «своего графа», и когда он сказал все, что ему было велено новым императором, они долго и надсадно кричали «ура!», чтобы сдержать подступившие слезы. Сохраняя внешнее спокойствие, Остерман вышел из зала. Вернувшись домой, он впервые ощутил себя старым, ненужным и совершенно разбитым от боли в левом плече.