Жизнь в семье, несмотря на все удобства и привилегии, не была безоблачной. Незадолго до смерти Надежда Аллилуева говорила сестре, что собирается уехать от мужа в Куйбышев и начать новую жизнь. Анна Сергеевна иначе как «мученицей» не называла бедную Надюшу. Неурядицы в семье не могли не сказаться на детях.
Чрезмерная нервность и неуравновешенность Василия объяснялась дурной наследственностью. Мария Анисимовна Сванидзе в своем «Дневнике» вспоминает, как они ездили осматривать новые станции метро. Это было в 1934 году. Шумная толпа, грохот поездов, всеобщее возбуждение так взвинтили Василия, что, вернувшись домой, он бросился на кровать и истерически разрыдался. Мария Анисимовна недолюбливала Аллилуевых и не упускала случая напомнить, что Федор, брат Надежды, сошел с ума, Павел, по ее мнению, медленно впадал в маразм, да и Анна была психически неполноценной. Надежду Мария Анисимовна Сванидзе любила и с горечью писала, что та в последние месяцы часто впадала в черную меланхолию. В этом состоянии она, возможно, и решила уйти из жизни…
Что касается пристрастия к алкоголю, то в этом несчастье Василия биографы винили его отца. Сталин считал, что хорошее виноградное вино полезно детям. Как ни противилась Надежда Сергеевна, муж постоянно угощал детей вином. У Василия это переросло в пагубную привычку…
В сущности, он был предоставлен самому себе. Отец и мать слишком заняты. Детей пестовали и воспитывали няня, экономка, учителя, обслуга, охрана. Позднее Василий жаловался, что именно охранники, грубые солдафоны, научили его пить и сквернословить. Он пытался бороться со своими пороками, но у него был слишком слабый характер.
Василий не раз повторял, как сильно любил мать и каким ударом для него была ее смерть. Мария Анисимовна Сванидзе пишет по этому поводу: «Светлану отец считает менее способной, но сознающей свои обязанности. Обоих он считает (Светлану и Василия) холодными, ни к кому не привязанными, преступно скоро забывшими мать. Очень неровными в отношении к окружающим». Мария Анисимовна считала эту характеристику очень точной и, как обычно, восхищалась проницательностью дорогого Иосифа. «Он знает их до мелочей. Он прав всегда во всем. Какой это аналитический ум, какой он исключительный психолог. Будучи таким занятым человеком, как он, знает всех окружающих до мелочей!»
У Марии Анисимовны был только один кумир — Иосиф. К окружению «великого человека», даже к его детям, она относилась очень критически. Ей принадлежат самые жесткие и нелицеприятные характеристики Василия, тогда еще подростка.
«Обстановка создана идеальная, чтобы учиться, развиваться и быть хорошим, — рассуждала она. — Ужас в том, что дети чувствуют привилегированность своего положения, и это их губит навеки. Никогда у великих родителей не бывает выдающихся детей».
После смерти матери Василий становится совершенно неуправляемым. Он плохо учится, грубит учителям, прогуливает занятия на футбольном поле. С ним не справляются ни воспитатели, ни учителя, ни обслуга. И все обращаются с жалобами на невыносимого Васю в последнюю инстанцию, к высшему судие — отцу. Только его Василий боялся и признавал. Отец, как мог, его вразумлял.
Светлана вспоминает, что в первые годы после смерти матери отец был очень внимателен к ним, сам проверял дневники, интересовался учебой. Вот что пишет Сталин коменданту дачи в Зубалове осенью 1933 года: «Следите хорошенько, чтобы Вася не безобразничал. Не давайте волю Васе и будьте с ним строги. Если Вася не будет слушаться няню или будет ее обижать, возьмите его в шоры. Держите Васю подальше от Анны Сергеевны, она развращает его вредными и опасными уступками».
Большинство наставлений касалось Васи, Светлана не доставляла стольких хлопот. Но и дочери Сталин посвящал несколько строк: «Светлану надо немедленно определить в школу, иначе она одичает вконец».
В «Дневнике» за 17 ноября 1935 года Мария Анисимовна Сванидзе рассказывает о семейном ужине в Зубалове. За столом, как обычно, говорили и о детях. Сталин, выведенный из терпения, пригрозил сыну выгнать его из дому, а вместо него взять на воспитание троих способных парней. На исправление Василию был дан срок — два месяца. Родственники притихли, они не верили, что мальчик сумеет исправить двойки за два месяца, и считали угрозу уже осуществившейся.
«Конечно, Васю надо привести в порядок, — пишет Мария Анисимовна. — Он зачванился тем, что сын великого человека, и, почивая на лаврах отца, жутко ведет себя с окружающими». Прошло всего две недели, и в том же «Дневнике» Мария Анисимовна отмечает не без тайной иронии, что Вася уже прощен и допущен к отцу. И продолжает: «Я очень рада. Вася — мальчик чрезвычайно жизнеспособный и хитрый, он умеет обходить даже собственного отца и являть себя прямым и искренним, не будучи таковым на самом деле».