14 апреля англо-французская эскадра начала бомбардировку Одессы. Сотни ядер пронеслись над воронцовским особняком. Несколько ракет попали на его территорию. Занялся сеновал, но огонь быстро потушили. После ухода с одесского рейда неприятельских кораблей ящики с рукописями были перевезены в Мошны, а позже возвращены в Одессу.
В мае 1854 года супруги Воронцовы покинули Кавказ. В июне они приехали в Дрезден, где Михаил Семенович стал лечиться у известных немецких врачей. В августе-сентябре Воронцовы жили в Голландии. Здесь Михаил Семенович узнал о пленении горцами княжон из семьи князя Чавчавадзе. Он был готов послать несколько тысяч рублей, если горцы потребуют выкуп.
В Голландию повидаться с Михаилом Семеновичем и Елизаветой Ксаверьевной приезжает из Англии Екатерина Семеновна Пемброк с дочерьми и внуками. Михаил Семенович был бесконечно рад этой встрече. Он уже не верил, что когда-нибудь сможет увидеться с сестрой и ее детьми.
Михаил Семенович не терял надежды, что после лечения они с женой снова поедут в Грузию, в Тифлис. Но здоровье не улучшалось, и пришлось остаться на зиму в Дрездене. А из России приходили печальные известия. Неприятель был в Крыму, в Алупке, осадил дорогой Михаилу Семеновичу Севастополь.
С началом строительства в 1841 году Николаевской железной дороги от Петербурга до Москвы некоторые влиятельные лица, в том числе и М. С. Воронцов, предлагали проложить эту линию до берегов Черного моря. Если бы эта дорога была построена, то к осажденному Севастополю в короткий срок можно было бы перебросить подкрепление, и враг был бы разбит. А весьма возможно, что при наличии этой дороги англичане и французы вообще не осмелились бы отправить свои войска в Крым на верную гибель. И переживания от упущенной возможности и от неудач в Крымской войне не замедлили сказаться на самочувствии М. С. Воронцова.
Среди защитников Севастополя был и С. М. Воронцов, сын Михаила Семеновича. Огорченный положением на Кавказе и в Крыму, Михаил Семенович писал А. П. Ермолову: «Теперь к этому присоединилось и беспокойство на счет сына моего. Но на все Божья воля; он исполнил долг свой, когда просился в самое опасное место, и так как я уже совершенно неспособен для какого-нибудь дела, он меня заменяет в исполнении в сию критическую минуту священного долга каждого Русского»7.
11 октября 1854 года Михаил Семенович отправил письмо Николаю I, в котором говорил, что хотел осенью вернуться к своим служебным обязанностям, но здоровье его не укрепилось. Он остался «совершенно неспособным для какой бы то ни было службы». «Жертва жизни, — продолжал он, — для меня ничтожна, но служить в тех званиях, которые я ношу, было бы теперь не только бесполезно, но и крайне вредно»8. А поэтому он попросил уволить его от должностей военной и гражданской как на Кавказе, так и в Новороссийском крае и Бессарабии. Император удовлетворил просьбу Михаила Семеновича, оставив его своим генерал-адъютантом и членом Государственного совета.
В письме к А. П. Ермолову Михаил Семенович подвел итог своей последней службы: «Меня привыкли везде видеть на Кавказе готовым быть везде и подавать везде пример, и до 1851 года, когда болезни начали меня одолевать, несмотря на все труды и походы, я еще не чувствовал признаков старости и ездил верхом, как молодой человек и ежегодно показывался, а иногда и два раза в год, во всех частях края, от Ленкорани до Анапы и от Эривани до Кизляра. Теперь я уже на это не способен, и я должен был решиться на увольнение от службы, которую, как я выше сказал, я уже не могу продолжать с честью для себя и с пользою для края». И далее: «Совесть моя чиста во всем, и прежняя более нежели полувековая моя служба должна удостоверить всякого беспристрастного человека, что я бы не удалился, особенно в теперешнее критическое время, от трудов и ответственности без настоящей совершенной необходимости»9.
После получения им отпуска командование Кавказским корпусом было возложено на Н. А. Реада, состоявшего при нем с 1851 года. В сентябре 1854 года М. С. Воронцов пишет А. И. Барятинскому: «По всему, что мы получаем из Тифлиса, узнаем с радостью, что генерал Реад сумел снискать уважение и общую симпатию и видим, насколько он счастлив, что после моего отъезда не была послана туда некоторая личность, которая не сумела бы понять ни людей, ни дел Кавказа и захотела бы все переделать на свой образец и произвести всякие перемены, чтобы только показать, что она могла бы лучше все сделать, чем тот, кто был раньше его»10.