В своих воспоминаниях о венском конгрессе повествует граф Делагард, что сам Дмитрий Нарышкин ответил императору Александру на вопрос его: «как поживает твоя дочь София?» «Но Ваше величество, ведь она вовсе не моя дочь, а Ваша…» В другой раз дар осведомился у своего любимца о жене его и его детях. Нарышкин цинично ответил: «О каких детях Ваше императорское величество справляются? О моих или о Ваших?»
Софию Нарышкину, которую император впоследствии узаконил и возвел в достоинство графини Романовой, постигла трагическая участь; она была такой же красавицей как и её мать; но она была слабого здоровья и умерла 17 лет от роду накануне дня назначенного для её свадьбы с графом Андреем Шуваловым. Эммануил Нарышкин, также сын Александра I, умер несколько лет тому назад, занимая должность обер-гофмаршала императора Николая II.
Нарышкина, однако не оставалась верной своему царскому любовнику, и обманывала мужа и Александра поочередно с князем Гагариным, который за это был выслан заграницу, и с адъютантом Александра, графом Адамом Ояровским. Однажды Александр пожелал посетить Нарышкину на её даче в Петергофе; приезд его там вызвал целый переполох; царь увидел, как адъютант его искал спасения в платяном шкафу. Царь был поражен и обратился к своему адъютанту со словами: «Ты похитил у меня самое дорогое. Тем не менее с тобой я обращусь и дальше как с другом. Твой стыд будет моей местью». И действительно Александр простил своего адъютанта, который не только остался в занимаемой им должности, но и достиг очень высоких ступеней служебной лестницы. Нарышкина же окончательно проиграла свою партию и не смела больше показываться на глаза императору. После смерти её мужа и императора она выехала в Германию, поселилась в Тегернзее близ Мюнхена, и умерла там в 1854 году.
После разрыва с Нарышкиной Александр снова зажил с супругой своей Елизаветой Алексеевной, и следует лишь удивляться той любви и самоотверженности на которую была способна императрица, с которой она приняла легкомысленного и заставлявшего ее так много перестрадать, супруга. Но уже было поздно, время счастья и супружеской любви было отмерено чрезвычайно скупо. 21 ноября 1825 года уже умер Александр в Таганроге и через несколько недель, на пути следования его останков в Петербург, Елизавета Алексеевна, сопровождая тело своего супруга, скончалась в городке Белове.
Во время одного из путешествий по югу России скончался Александр Благословенный в Таганроге.
Относительно этой смерти не замедлила образоваться легенда о том, что царь вовсе не скончался, а что вместо него положен в гроб другой труп, обыкновенного смертного. Русская история полна о таких легендах, полна самозванцами и полна верой в несуществующие самозванцы. Не даром же слово «самозванец», почти что не переводимо ни на один из иностранных языков. По поводу легенды о том, что Александр вовсе не умер, а отправился в Сибирь в качестве отшельника, не стоило бы останавливаться, если бы легенда эта не была одно время чрезвычайно распространена в русском обществе, и не послужила бы даже предметом серьезного исторического труда, принадлежащего перу великого князя Георгия Михайловича, который в своем исследовании окончательно опроверг эту басню. Помимо любви нашего народа к чудесным сказаниям о смерти русских царей, сказание о долгой отшельнической жизни Александра объясняется и тем мистически-религиозным настроением, в котором государь этот пребывал во второй половине своего царствования, в особенности после знакомства и долгой связи его с баронессой Крюденер.
Боже, если подумать на какой путь хотел и мог этот государь, не обладавший никакими государственными способностями, а лишь доступный всему хорошему, поставить нашу родину; и что сделал он из всего того? Угнетенную и расслабленную он передал ее на изнасилование брату своему Николаю, грубому коронованному фельдфебелю, имя которого теперь еще наводит ужас на всю свободолюбивую Россию.