Попав в опалу, он так и не возвратился к дипломатической деятельности, хотя при Павле I опала была снята и А. М. Белосельекий-Белозерский был осыпан царскими милостями, а в царствование Александра I ему было пожаловано звание обер-шенка, чин действительного тайного советника и орден Александра Невского.
Но государственными делами князь занимался мало, увлекшись литературными опытами. У него были прелестные дочери от первого брака (его первая жена Варвара Яковлевна, урожденная Татищева, умерла в Турине в 1792 году), из которых уже в отроческом возрасте красотою и живостью ума отличалась Зинаида, будущая поклонница таланта Ореста Кипренского. Хозяйственные заботы Александр Михайлович препоручил своей супруге Анне Григорьевне, принесшей ему громадное состояние и умело приумножавшей его. Приобретение Крестовского острова тоже оказалось выгодным предприятием. Александр I, в начале своего царствования избравший для дачного сезона Каменный остров, соединил его мостом с Крестовским, после чего началось необыкновенное оживление всей этой стороны. Вслед за царем на модные острова кинулась заводить дачи вся знать, а вместе с нею другая богатая публика, буквально озолотив Анну Григорьевну Белосельскую-Белозерскую.
В числе других на островах завел дачу и Иван Васильевич Кусов.
Кусов был богатый купец, миллионер. Вигель, которому он приходился дальним родственником, рассказывает, что миллионера, несмотря на его худое происхождение, жаловал вниманием сам Александр I, дачный сосед богатого купца, удостаивал его визитами, даже трапезничал в кругу кусовского семейства. Это была одна из причуд венценосного соседа Кусовых. Когда императору приходило в голову отобедать в доме Кусовых, он предварительно оповещал об этом главу семейства Ивана Васильевича, дородного седовласого мужчину, которого посетители льстиво именовали патриархом по причине его многочисленного потомства, прижитого с тремя женами, отчего возраст окружавших его детей простирался от пяти до сорока пяти лет. «Патриарх», бывший коммерц-советником и кавалером орденов, полагал, что его богатство и знакомство с царем дают ему право попросту не замечать всех прочих нахлебников, но весь преображался, когда в его светлице появлялся божий помазанник. Обычно миллионер восседал с женой во главе длинного стола, а по бокам располагались два поколения потомства вперемежку с гостями, порою довольно чиновными. В случае же визита царя слуги удалялись, за стол с царем допускалась только женская половина семейства Кусовых — супруга Ивана Васильевича, его дочери, невестки. Кушанья подавали и меняли тарелки сыновья и зятья, а себе старик Иван Васильевич отводил самую мизерабельную роль, ибо во все присутствие венценосного гостя стоял за его стулом. Александру I, пренебрегавшему домами высокородных вельмож (которых точно магнитом притянуло вслед за ним на острова), дабы кто-либо из последних не слишком возомнил о себе, у раболепствующего купца было легко щеголять мнимым демократизмом; кусовская «простота», сообщает Вигель, нравилась царю, и в их доме «без всякого тайного умысла он делался весел и любезен».
Это и поразило воображение Лизаньки, кузины Вигеля, дочери обедневшего дворянина, выданной матерью в 16 лет замуж за сына миллионера Николая Ивановича Кусова, по словам Вигеля, «жирного и здорового» детину. Молодую женщину, воспитанную на французских романах, «с нежными чувствами, с умом и знанием приличий» в доме Кусовых никто, включая ее супруга, которого «смешило слово чувствительность», не понимал, как никого из своих купеческих родных не могла понять и она, со временем так возненавидевшая «широкие и раздутые кусовские лица», что с нею при виде их делались нервические припадки. Экзальтированная кузина Вигеля воспылала тайной страстью к «еще молодому (Александру в это время не было 30 лет), прекрасному, ласковому» человеку, «повелевающему миллионами людей», о чем ее невнимательный идол, кажется, даже не подозревал. Ее несчастливый брак с купеческим сынком окончился самым трагическим образом…