Выйдя на свободу в 1948 году, Люба еще пять лет прожила в ссылке в Казахстане, где нашла себе работу в геологической экспедиции и постоянно отказывалась от предложений о сотрудничестве с НКВД. В Караганде она оставалась, пока Сталина не сменил Хрущев — отчасти из-за того, что произошло, когда в 1954 году она приехала в Москву. Хрущев тогда не позволил ей увидеться с четырнадцатилетней Юлией, которую Хрущевы удочерили и которая считала Никиту Сергеевича и Нину Петровну своими родителями. Однако Нина Петровна, по-видимому, не желала лишать внучку родной матери и позже, когда Юля сдала вступительные экзамены в университет, открыла ей правду43. В 1956 году, выбрав момент, когда Хрущева не было в Москве, Нина Петровна устроила Любе свидание с Юлей. «Да ты — вылитый Леня!» — воскликнула Люба. Нина Петровна уговаривала ее остаться, но Люба отказалась, чувствуя, что она здесь лишняя. Позже, уже в отставке, Хрущев несколько раз разговаривал с невесткой по телефону, но никогда не заговаривал о ней с родными и всего раз встретился с ней.
Возможно, Хрущев боялся потерять Юлю. Люба подозревала также, что он верил в обвинения НКВД. «Должно быть, ему много плохого наговорили о ней», — предполагала Юлия. Она добавляла также, что ни Никита Сергеевич, ни Нина Петровна не обнимали ее так горячо, как мать при встрече в 1956 году. Собственно говоря, они вообще ее не обнимали. «Такой уж человек была Нина Петровна. Сама холодная по натуре, и меня не научила проявлять любовь и доброту».
Люба была не единственной арестованной родственницей члена Политбюро. Жена Молотова, жена Калинина, брат Кагановича — никого из них не смогли защитить могущественные родственники. Нельзя винить Хрущева за то, что он не вытащил Любу из тюрьмы. Но почему затаил на нее обиду? Возможно, дело было не в надуманных обвинениях, а в неприемлемом для него поведении невестки. Жизнерадостная, бесстрашная, умевшая наслаждаться жизнью во всех ее проявлениях, Люба была очень похожа на своего мужа; и Толя, которому в 1943 году исполнилось девять, хотя и не был Лениным сыном, удивительно походил на него по характеру.
«Я был из тех, кто ни на чем не способен сосредоточиться, — рассказывает Толя. — Вечно был в движении, вечно куда-то рвался и чего-то хотел. Когда приехал Леня, он привез с собой чудесный пилотский шлем: я тут же завладел этим шлемом и катался в нем с горки. А однажды прицепился к машине и проехался за ней по обледеневшей дороге. Леня не возражал, но мама очень сердилась. У Лени был ящик с огнестрельным оружием и патронами. Его держали запертым, но однажды, когда мама с Леней были в театре, я сумел его открыть, достал пистолет и отправился играть с приятелем — сыном хрущевского шофера, который жил в подвале нашего дома. Я принес с собой обойму, и он уговорил меня пострелять. Первой же пулей я разбил окно, и вся комната наполнилась дымом. Мы так испугались, что спрятались под одеяло — на случай, если кто-нибудь войдет. На следующий день, когда Леня стал меня расспрашивать, я сначала говорил, что ничего не знаю, но скоро во всем признался. Леня поставил меня в угол, но потом простил. А в другой раз я выкинул из окна бутылку и чуть не попал в Вышинского, который как раз проходил через двор».
Прямое попадание в голову знаменитому сталинскому обвинителю, возможно, принесло бы Анатолию славу — но попытка придушить собаку шелковым шарфом, который подарила ему Ирина Сергеевна, славы определенно не принесла. Особенно когда пес вырвался и убежал с дорогим подарком в зубах. В первом классе Толя был выше всех, но очень неуклюж; товарищи постоянно его дразнили, и Люба забрала его из школы и наняла гувернантку — пожилую даму, в характере которой дореволюционная интеллигентность сочеталась со сверхъестественной строгостью. Мать Никиты Хрущева обожала Толю44, а Маленковы на него жаловались. Нина Кухарчук вспоминает, как Толя мочился в раковину и Нина Петровна кричала: «Он развратит моих девочек!» Как только Люба с детьми переехала в отдельную квартиру, встречи Толи с остальными Хрущевыми почти прекратились. «Я как будто выпал из семьи», — вспоминал он.