В 1828 году началась очередная война с Турцией. В Петербурге многие считали, что командование войсками, действующими против турок, будет поручено А. И. Остерману-Толстому. Сам же он просил, чтобы его направили в армию в любой должности в качестве волонтера, но получил отказ. И на этот раз строптивый генерал доказал, что остановить его при осуществлении принятого им решения невозможно. В 1831 году он предложил свои услуги египетскому правительству, и в качестве военного советника находился в армии полководца Ибрагима-паши, сражавшегося против Турции.
В марте 1830 года А. И. Остерман-Толстой обратился к Николаю I с просьбой разрешить ему навсегда покинуть Россию. Пожалуй, это была единственная просьба, в которой ему не было отказано. Остерман расставался с родиной с тоскою и болью в сердце, но ничто не могло его заставить переменить принятое решение.
Выехав за границу, он много путешествовал, чтобы хоть чем-то скрасить дни, наполненные разлукой с горячо любимым им Отечеством. Он жил в Германии, Италии, Франции, Швейцарии. В 1831 году, путешествуя по странам Ближнего Востока: Египту, Сирии, Палестине, А. И. Остерман побывал и в Турции. В Константинополе он был представлен турецкому султану Махмуду. Тот заинтересовался тростью, на которую Остерман опирался при ходьбе с тех пор, как лишился руки. Набалдашник трости был искусно выточен в виде черепа. Султан Махмуд через переводчика спросил русского генерала: зачем он носит при себе такую мрачную эмблему? Остерман-Толстой взглянул на восточного деспота, который в борьбе за власть приказал предать смерти корпус янычар. И как знать, может быть, в эту минуту Остерману припомнилось самодовольное, полное показного величия лицо Николая I, жестокого и мелочного в преследовании за непочтительное отношение к трону? Вопреки восточному этикету Остерман ответил сурово и бесстрашно: «Хотя много голов отсечено по приказанию султана, но и его собственная голова неминуемо будет подобна изображению на моей трости, и, может быть, гораздо скорее, чем мы оба думаем». По-латыни он прибавил: «Сегодня тебе, завтра мне…»
В 1835 году А. И. Остерман-Толстой получил приглашения от прусского короля и австрийского императора присутствовать на торжествах по случаю открытия памятника в Кульме. Главного героя сражения при Кульме не мог обойти и Николай I, приславший Александру Ивановичу личное приглашение вместе со знаками ордена св. Андрея Первозванного. Остерман-Толстой не поехал в Богемию, а пакет от русского императора оставался нераспечатанным до самой его смерти.
Единственным обстоятельством, скрашивающим жизнь опального генерала, доживавшего свой век за границей, было его в то время уже многочисленное семейство «с левой стороны от связи с итальянкой». Супружескую жизнь А. И. Остермана-Толстого нельзя было назвать удачной. «Графиня Остерман-Толстая отличалась ревностью и тем не давала покоя своему мужу. Впрочем, безрукий герой, чудак и большой оригинал, подавал к тому немало поводов, имея слабость к женщинам и считая себя неотразимым», — писал современник в 1816 году. Но, по-видимому, лишь в 1827 году у Елизаветы Алексеевны появились причины к серьезному опасению за их супружеский союз. В тот год в Италии была выпущена в свет гравюра, на которой был изображен А. И. Остерман-Толстой в окружении своих детей: двоих мальчиков 3–4 лет от роду и девочки, спящей в люльке. Надпись под изображением, очевидно, придумал сам Остерман. Она была сделана по-французски и гласила: «Мне представляется, что это последние счастливые мгновения. Ведь 55 лет — время готовить могильную ограду». Со своей гражданской супругой А. И. Остерман-Толстой, по-видимому, познакомился во время своего путешествия по Европе в 1822 году, когда он разъезжал по свету под именем полковника Иванова. Та, с кем в конце концов свела его судьба, не знала в то время ни его настоящего имени, ни положения в обществе, приняв его таким, каким он был на самом деле, что всегда было для Остермана немаловажным.
Предаваясь воспоминаниям о прошлом, А. И. Остерман-Толстой провел последние годы жизни в Женеве. Он почти не выходил из своего кабинета, где занимался чтением книг исключительно русских авторов. Поэзию Г. Р. Державина он называл своею библией.
14 февраля 1857 года в два часа пополудни в ворота скромного кладбища в Сакконэ — предместье Женевы — въехала траурная колесница с гробом, украшенным двумя лавровыми венками. Перед гробом шел священник русской церкви с двумя церковнослужителями. За гробом шли соотечественники умершего, его семья. Немногим друзьям, прибывшим на похороны Александра Ивановича Остермана-Толстого, невольно вспомнились слова, часто произносимые им в последние годы жизни: «Да, как человек и как солдат, видел я красные дни».