В последние годы своей жизни, разочарованный и усталый, он то путешествовал, то жил в глуши. Все собирался снова посетить Новороссию, мечтал об этом, давал советы своим преемникам. Письма его свидетельствуют, что, как другой знаменитый эмигрант, Жозеф де Местр, он мог бы сказать: «На смертном одре буду молиться на Россию». Ему не суждено было снова увидеть Петербург, Одессу, Крым. 16 мая 1822 года он скоропостижно скончался пятидесяти пяти лет от роду.
Детей у него не было. С ним угас род герцогов Ришелье, давший людей столь разных, — точно одни искупали грехи других. Король передал семье Жюмильяков многочисленные титулы, оставшиеся от кардинала.