Из дома на улице Врубеля их спустя несколько дней выселили в переполненный деревянный двухэтажный дом возле Военно-воздушной академии им. Жуковского: семье «латышского националиста» и «террориста» среди жильцов-чекистов оставаться было нельзя. Антонину, как и многих детей «врагов народа», забрали в специнтернат, да и не ладились у неё отношения с мачехой. Характер у девочки был сложный — что не удивительно при её судьбе. Надолго, до 1950-х годов, сводная сестра исчезнет из поля зрения брата, потом вновь появится (под фамилией Васютина), но родственного тепла в отношениях между ними не будет.
Мария Григорьевна же и Юра вскоре вновь отправились в дорогу. В те годы многие семьи, оставшись без навсегда уведённого от них кормильца, снимались с места и уезжали в какой-нибудь далёкий город, за Урал и дальше, где, как они надеялись (и расчёт зачастую, хотя и не всегда, срабатывал), никто не знал о прошлом их семьи. В надежде получше устроиться и побольше заработать Мария Григорьевна решила уехать с сыном в самую дальнюю даль — в Хабаровск; дальше просто не бывает. Ехали неимоверно долго, недели две, пересаживались с поезда на поезд, зато какая красота открывалась за окнами вагона: Уральские горы, сибирская тайга, крутые берега Байкала, замёрзший Амур, показавшийся мальчику похожим на гигантскую свалку ледяных глыб. Пройдут десятилетия — и Юрий Визбор пролетит над этими краями, многие места объедет, обойдёт пешком, и будет возвращаться домой, вспоминая, насколько позволяла детская память, своё первое сибирское путешествие и прокручивая в памяти новые впечатления, встречи со старыми и новыми знакомыми, «рек синеву / И на борту бортпроводницу, / Чтоб проводить нас с Сибири в Москву» («Прощание с Сибирью»), Но сейчас не было никакой бортпроводницы; была ли обычная проводница в переполненном и не очень чистом вагоне — он тоже потом не помнил, да и неважно это было для него тогда. В детстве многие трудности и неурядицы переживаются почему-то легче: может быть, потому, что ребёнок воспринимает обстоятельства своей жизни как должное, ему пока не с чем их сравнивать.
Хабаровск мало чем запомнился: жили в комнатушке деревянного барака с длинным коридором, где всегда был полумрак, а на кухне стояли керосинки, на которых многочисленные жильцы готовили себе пищу. За керосином ходили с мамой в лавку за два квартала от дома. Юра — помощник, а как же иначе. Маме тяжело, он понимает это. Но бывают и праздники — поход в кино, например. Кино, с которым его крепко свяжет потом судьба, началось для него здесь. По крайней мере, первый фильм, который ему запомнился, он увидел в Хабаровске. Мама повела его смотреть «Лунный камень» — историю поиска на Памире ленинградской научной экспедицией иренита («лунного камня»), открытого ещё до революции геологом Иваном Поповым. Мужественные продолжатели его дела, преодолевая сопротивление перешедших границу и напавших на них «белобандитов» (в чалме и с белогвардейскими погонами одновременно!), должны добыть ценную породу для Страны Советов. Лет сорок спустя фильм вспоминался Юрию Иосифовичу, наверное, как наивный, но тогда мальчик следил за ходом событий на экране, широко раскрыв глаза. И Памир, наступит время, войдёт в его жизнь, в его душу и песни…
Прожили в Хабаровске недолго, вернулись в Москву ещё до начала войны. Много ли могла заработать, хотя бы и на Дальнем Востоке, фельдшерица? Назад ехали мимо тех же пейзажей, оставляя позади так и не ставший для них родным домом Хабаровск.
И вот первое отчётливо запомнившееся мальчику московское жильё — тот самый двухэтажный дом в парке воздушной академии, на Левой Дворцовой аллее, неподалёку от Ленинградки (так многие москвичи называли Ленинградское шоссе, теперь — Ленинградский проспект). Сама академия располагается в старинном Петровском замке, где в своё время пережидал московский пожар Наполеон. Когда Юра подрастёт и прочтёт «Евгения Онегина», он легко узнает знакомую «дубраву» в строках седьмой главы романа в стихах, где подробно описан въезд семейства Лариных в Москву: «Вот, окружён своей дубравой, / Петровский замок. Мрачно он / Недавнею гордится славой. / Напрасно ждал Наполеон, / Последним счастьем упоенный, / Москвы коленопреклоненной / С ключами старого Кремля: / Нет, не пошла Москва моя / К нему с повинной головою». Теперь уже идёт другая война, и из башен Петровского замка выглядывают зенитки, охраняющие находящийся по соседству Центральный аэродром — тот самый, куда водила его мама. Над городом висят тревожные, продолговатые, похожие на гигантских рыб аэростаты — они тоже охраняют московское небо от фашистских самолётов, которые из-за этих, мешающих им, надувных фигур не могут спуститься низко к земле и прицельно бомбить город.