По воспоминаниям современников можно представить себе «нечто вроде роскошного замка на берегу Тосны». С проведением Московской железной дороги Пустынька оказалась верстах в четырех от станции Саблино. Там перебывали многие знаменитости. А. В. Никитенко записал в своем «Дневнике» : «Все в этом доме изящно, удобно и просто. Самая местность усадьбы интересная. Едешь к ней по гнусному ингерманландскому болоту и вдруг неожиданно натыкаешься на реку Тосну, окаймленную высокими и живописными берегами. На противоположном берегу ее дом, который таким образом представляет красивое и поэтическое убежище»’.
От Пустыньки сегодня осталось несколько старых парковых деревьев и два зарастающих пруда; один из них круглый, с островом посередине, где некогда стояла беседка, в которой любил уединяться Алексей Толстой. Дом был над обрывом. Оттуда открывается вид, и в самом деле неожиданный для тех мест. На дне желто-красного каньона шумит, обтекая громадные гранитные валуны, быстрая речка Тосна. Возле недалеко лежащего села она делает громадную петлю, берега ее расступаются, за пойменными лугами виден дальний сизый лес. Если у пруда спуститься по почти отвесной песчаной стене к реке, краски станут еще ярче. Полоса неба сжата зеленой каймой деревьев, а ниже — слежавшийся песок самых разных теплых оттенков. В стене — темные пятна пещер, в иные можно войти, не сгибаясь, еще и побродить по сухим подземным коридорам. Когда-то, видимо, живал здесь монах-пустынник, оттого и название пошло — Пустынька.
Осенью 1850 года Алексею Толстому было уже тридцать три года. Он считал, что прожил их плохо, но никто не знал его тягостных мыслей. Ум и воспитание наделили его манерой держаться просто, но в этой аристократической простоте была своя сложность, которая исключала какую бы то ни было откровенность. В остроумие он прятался как в скорлупу — оно было видимой частью его исканий. Толстой знал про себя, что он — художник, но ощущение собственной талантливости только усугубляло раскаяние — вместо творчества ему подсунули суету, а он не был настолько сильным, чтобы отринуть ненужное и взяться за главное...
Анне Алексеевне Толстой казалось, что она живет интересами сына. Она хлопотала о его придворной карьере и благосостоянии, упивалась почтительностью и послушанием Алексея и ревниво относилась к любому его увлечению — будь то стихи или женщина. Ей удалось расстроить его отношения с княгиней Еленой Мещерской, когда увидела, что чувство сына крепнет с каждым днем. Она с ужасом думала о его женитьбе, само слово «жена» было вызовом эгоистической самоотверженности Анны Алексеевны и предвещало, как чудилось ей, катастрофические перемены в сыновней привязанности и любви. Она придумывала болезни, которые требовали длительного лечения за границей и непременного присутствия и заботы сына. Она прибегала к помощи своих всесильных братьев, вызывавших Алексея к себе ради неотложных семейных дел или посылавших его в командировки государственной важности. А там... он развеивался, и его забывали. Так было с графиней Клари и другими увлечениями Толстого.
Зимой, в январе, в тот, быть может, самый вечер, когда в Александринке шла «Фантазия», Алексей Толстой по долгу придворной службы сопровождал наследника престола на бал-маскарад, который давался в Большом театре. Будущий император Александр II любил подобные развлечения, он тяготился своей умной и тихой женой и открыто волочился за женщинами, не пренебрегая и случайными знакомствами в публичных местах.
На балу Алексей Толстой встретил незнакомку, у которой было сочное контральто, интригующая манера разговаривать, пышные волосы и прекрасная фигура. Она отказалась снять маску, но взяла его визитную карточку, обещав дать знать о себе.
Возвратясь домой, Алексей Константинович, по укоренившейся у него привычке работать ночью, пытался сесть за стол и продолжать давно уже начатый роман или править стихи, но никак не мог сосредоточиться, все ходил из угла в угол по кабинету и думал о незнакомке. Устав ходить, он ложился на диван и продолжал грезить. Нет, далеко не юношеское трепетное чувство влекло его к маске... Ему, избалованному женской лаской и даже пресыщенному доступностью удовольствий, показалось, что с первых же слов они с этой женщиной (не девушкой, нет) могут говорить свободно, она поймет все, что бы он ни сказал, и ей это будет интересно не потому, что он, Алексей Толстой, старается говорить интересно, а потому, что она умница и всей манерой своей печально смотреть, улыбаться, говорить, слушать делает его не раскованным по-светски, а вдохновенным по-человечески. Это, вместе с чувственностью, которую она не могла не пробудить, волновало его глубоко, обещая не просто удовольствие...