Точно таким, как его отношение к государству, было и отношение Александра к его супруге Елизавете Алексеевне. Вначале казалось, что брак этот будет из счастливых. Но непостоянство и потребность в страстной любви потянули наконец Александра к другим женщинам, так что в конце концов оба супруга жили совершенно отдельной и даже уединенной жизнью. Любовные похождения Александра были чрезвычайно многочисленны, и в чувствах своих он был весьма непостоянен. Но наконец его пленила одна женщина настолько сильно, что он остался ей верен в продолжение всей жизни. То была жена друга молодости Александра, Дмитрия Нарышкина. Некоторое время серьезную конкуренцию Нарышкиной составляла графиня Бобринская, и из этой связи Александра происходит польский род Варпаховских. Но в конце концов всех соперниц победила Нарышкина.
Мария Антоновна Нарышкина была от рождения полькой, дочерью князя Четверинского, который в 1794 году во время варшавских бунтов повешен народом. Еще очень молодой девицей ее выдали замуж за любимца Александра I, за Дмитрия Нарышкина. Как только государь увидел ее в первый раз, он смертельно влюбился и немедленно добился успеха у Нарышкиной. Говорят, что в один прекрасный день, когда император был в отличном расположении духа, он назначил Нарышкина обер-егермейстером со словами, обращенными к супруге обманутого мужа: «Так как я ему поставил рога, то пусть же он теперь заведует оленями».
Результатом этой связи были трое детей, из которых царь безумно любил дочь Софью. Дети все назывались Нарышкиными, несмотря на то что муж Марии Антоновны отлично знал, что не он их отец. В своих воспоминаниях о Венском конгрессе граф Делагард повествует, что сам Дмитрий Нарышкин ответил императору Александру на вопрос его: «Как поживает твоя дочь Софья?» — «Но, Ваше Величество, ведь она вовсе не моя дочь, а Ваша…». В другой раз царь осведомился у своего любимца о жене его и его детях. Нарышкин цинично ответил: «О каких детях Ваше Императорское Величество справляется? О моих или о Ваших?». Софью Нарышкину, которую император впоследствии узаконил и возвел в достоинство графини Романовой, постигла трагическая участь; она была такой же красавицей, как и ее мать; но она была слабого здоровья и умерла 17 лет от роду накануне дня, назначенного для ее свадьбы с графом Андреем Шуваловым. Эммануил Нарышкин, также сын Александра I, умер занимая должность обер-гофмаршала императора Николая II.
Нарышкина, однако, не оставалась верной своему царственному любовнику и обманывала мужа и Александра поочередно с князем Гагариным, который за это был выслан за границу, и с адъютантом Александра графом Адамом Ояровским. Однажды Александр пожелал посетить Нарышкину на ее даче в Петергофе; приезд его вызвал целый переполох; царь увидел, как адъютант его искал спасения в платяном шкафу. Царь был поражен и обратился к своему адъютанту со словами: «Ты похитил у меня самое дорогое. Тем не менее с тобой я обращусь и дальше как с другом. Твой стыд будет моей местью». И действительно, Александр простил своего адъютанта, который не только остался в занимаемой им должности, но и достиг очень высоких ступеней служебной лестницы. Нарышкина же окончательно проиграла свою партию и не смела больше показываться на глаза императору. После смерти ее мужа и императора она выехала в Германию, поселилась в Тегернзее близ Мюнхена и умерла там в 1854 году.
После разрыва с Нарышкиной Александр снова зажил с супругой своей Елизаветой Алексеевной, и следует лишь удивляться той любви и самоотверженности, на которую была способна императрица, с которой она приняла легкомысленного и заставлявшего ее так много перестрадать супруга. Но уже было поздно, время счастья и супружеской любви было отмерено чрезвычайно скупо: 21 ноября 1825 года Александр умер в Таганроге, и через несколько недель, на пути следования его останков в Петербург, сопровождая тело своего супруга, императрица скончалась в городке Белове.
Относительно смерти Александра не замедлила образоваться легенда о том, что царь вовсе не скончался, а что вместо него положен в гроб другой труп обыкновенного смертного. Русская история полна такими легендами, полна самозванцами и верой в несуществующих самозванцев. Недаром же слово «самозванец» почти что непереводимо ни на один из иностранных языков. На легенде о том, что Александр вовсе не умер, а отправился в Сибирь в качестве отшельника, не стоило бы останавливаться, если бы легенда эта не была одно время чрезвычайно распространена в русском обществе и не послужила бы даже предметом серьезного исторического труда, принадлежащего перу великого князя Георгия Михайловича, который в своем исследовании окончательно опроверг эту басню. Помимо любви нашего народа к чудесным сказаниям о смерти русских царей, сказание о долгой отшельнической жизни Александра объясняется и тем мистически-религиозным настроением, в котором государь этот пребывал во второй половине своего царствования, в особенности после знакомства и долгой связи его с баронессой Крюденер.