В 1815 году Бертье был командиром почетной роты королевских телохранителей и пэром Франции. После высадки сосланного на остров Эльба Наполеона в бухте Жуан он не ответил на письмо своего бывшего начальника и не присоединился к нему, как это сделали многие его боевые товарищи, а уехал с королем Людовиком XVIII в Гент, за что 14 апреля был исключен Наполеоном из числа своих маршалов. В Бельгии 22 мая Бертье получил отставку и уехал в Бамберг, чтобы соединиться там со своей семьей.
В 1814 году Бертье был среди тех, кто настаивал на отречении императора. Он одним из первых оставил Наполеона.
Преданность Бертье имела свои пределы: он тихо, без сцен и упреков перешел на сторону Бурбонов.
Уставший от бесконечных походов и сражений, он просто бежал из лагеря императора, найдя для этого какой-то малозначимый предлог. Вальтер Скотт в книге «Жизнь Наполеона Бонапарта, императора французов» описывает это следующим образом:
«Измена эта обуяла всех, начиная с Бертье, который, разделяя все тайны императора, редко от него отлучался, до мамелюка Рустама, который спал перед дверьми его комнаты и был бессменным его стражем. Несправедливо было бы осуждать поступок этого бедного африканца, но отъезд Бертье стоит быть отмеченным. Он просил позволения побывать в Париже по каким-то делам, говоря, что возвратится на другой день. „Он не воротится“, — сказал Наполеон хладнокровно герцогу Бассано. „Как! — возразил министр. — Неужели Бертье таким образом с вами расстанется?“ — „Говорю тебе, что он не воротится“».
Бертье был уже немолод, и ему все надоело. Он воевал уже больше 30 лет. Со дня своей женитьбы в марте 1808 года он так толком и не жил со своей семьей: уже в ноябре он был направлен в Испанию, затем весь 1809 год сражался в Германии, относительно спокойными были лишь 1810 и 1811 годы, а затем снова последовала вереница тяжелейших кампаний и сражений (поход 1812 года в Россию, кампания 1813 года в Сансонии, кампания 1814 года во Франции). Он почти не видел своих жену и детей, особенно трехлетнюю дочь Каролину-Жозефину. С другой стороны, он был человеком долга. Его душевное состояние очень точно описывает Рональд Делдерфилд:
«Каждому, кто готов был слушать, он объяснял, что он не спасается от Наполеона, как Мармон, а просто улаживает некоторые свои домашние дела. Но страшная мысль, что его могут принять за труса, уже превратилась у него в навязчивую идею, и, прибыв в Бамберг, он все еще не мог решить, к какому берегу пристать. Мог ли он убедить себя, что Франции нужен Наполеон, и примкнуть к императору, как Мортье? Должен ли он был оставаться верен присяге, как Удино? Или же он должен был застраховать себя, как Массена? Он никогда не был способен на серьезные решения, если только рядом не было Наполеона. Теперь же идеи личной преданности, с одной стороны, и патриотизма, с другой, буквально разрывали его на части, и душа его страдала. Эта мука длилась десять недель».
В. Н. Шиканов пишет примерно о том же:
«На душе князя Ваграмского с каждым днем становилось все тяжелее. Европа пойдет войной против его Родины (в этом Бертье не сомневался), а он впервые в жизни будет наблюдать за схваткой со стороны. Наполеон, конечно же, примет вызов. Он будет сражаться, а его начальник штаба не присоединится к императору, вместе с которым князь Александр 18 лет шел по военным дорогам.
Не приходилось сомневаться, что Наполеон принял бы старого соратника с распростертыми объятиями. Но Бертье не хотел воевать за короля против Франции, равно как и вместе с императором против короля».
Непосредственно смерть Бертье Рональд Делдерфилд описывает следующим образом:
«1 июня он находился в одной из верхних комнат своей квартиры и вдруг услышал под окном топот вооруженных солдат. Это была колонна русских, направляющаяся на запад навстречу Наполеону. Он посмотрел на нее, а потом, по предположениям, встал на стул, чтобы лучше ее рассмотреть. Через секунду князь Невшательский и Ваграмский, волшебник, который в любое время дня и ночи мог дать справку о том, где находится та или иная дивизия императора и какую роль она должна сыграть в предстоящем сражении, уже лежал под окнами мертвым. Несчастный случай или самоубийство? На этот вопрос никто не смог дать утвердительного ответа. А Бертье лежал на плитах мостовой. Когда об этом сообщили Наполеону, тот заплакал».