Отца забрали в 39 лет вполне здоровым человеком. Через несколько месяцев каторги он стал полным инвалидом. Через три года палача Ягоду заменил палач Ежов. Под это дело часть заключенных, отбывших свой срок, отпустили. Отца как безнадежно больного выпустили с запретом селиться в Москве. Он нашел пристанище в Калуге. Мы решили перебраться к нему. Одно из моих последних воспоминаний о московской квартире — сосед дядя Гриша. Он был каким-то милицейским начальником. Красавец: белый шлем, отменный мундир. Очень приветливый, и семья у него была симпатичная. Помню, когда отец вернулся домой с каторги, дядя Гриша его не выдал, хотя это было опасно. Но незадолго до нашего отъезда с ним словно что-то произошло. Он стал нервный, грубый. Сидел вечерами на кухне и заряжал маленькие патроны для револьвера — много-много… А я был любознательным, из своей любимой книжки «Сто тысяч почему» уже знал, что, когда загорается порох, он мощным давлением выталкивает пулю. А тут на кухне прямо этот опыт вживую. И я попросил дядю Гришу показать мне это. Он неохотно показал, вынул пулю, насыпал на блюдечко порох и поджег его. А потом сказал: «Вот так это все и происходит». Только спустя какое-то время я понял, для чего дядя Гриша каждый день заряжал обоймы. Я понял, почему он такой нервный. Он занимался ночными расстрелами. Его жена почти сошла с ума. Да и сам дядя Гриша сдвинулся и был списан как неработоспособный человек.
Мы обменяли нашу одну комнату на три комнаты в бревенчатом доме в Калуге. Отец полулегально подрабатывал в Москве на заочном отделении института иностранных языков на Кузнецком Мосту. Руководила им сестра бывшего начальника ОГПУ Менжинского. Эта женщина была свободна в выборе преподавателей и собрала себе компанию из людей, владеющих самыми разными языками.
В 1937 году в нашей семье родился четвертый ребенок — мой младший брат Яков. Мать завернула его в конвертик и дала мне вместе с запиской, в которой было расписание, когда и чем кормить. Так я стал воспитателем детей. А мама работала в Москве — в медико-генетическом институте. Руководил им Соломон Григорьевич Левит. Он отличался массой достоинств, был ярым большевиком. Правда, от репрессий это его не спасло, властям не нравилась самостоятельность его суждений. Его расстреляли в том же 37-м. Расстрел Левита фактически означал закрытие института. Мать переквалифицировалась в школьного учителя русского языка и литературы. Отцу тем временем становилось все хуже. В нашем промерзшем доме, протопить который было невозможно, он лежал, укутанный чем только можно. Спасти его мы не смогли.
Еды в городе практически не было. Помню, только-только был заключен пакт Молотова — Риббентропа. По достигнутым договоренностям в Германию из СССР шли эшелоны с зерном, нефтью, салом. Мы кормили будущего врага. В то же время в Калуге, через которую шли эти эшелоны, хлеб считался высочайшим благом. Я гордился тем, что был его добытчиком. А что такое добытчик? Это значит: с ночи встать в очередь, чтобы утром купить хлеб. Если занять очередь позже, уже не достанется. Ходили люди и пересчитывали очередь, рисуя на руке химическим карандашом номер. Наступало утро, открывали магазин, и начиналась бешеная давка, в которой выкидывали любого человека, но только не детей. Однажды я принес хлеб, который внутри был с солью и льдом. С жадностью мы с братьями съели его, у меня и у младшего Якова началась кровавая дизентерия. Мать на руках отнесла нас в больницу, ходить мы уже не могли. В 39-м году еще не было антибиотиков, нас лечили сульфатом натрия. Это было не лечение, а ужас! Почему мы не умерли, никто не знает. Наверное, калужский период в жизни нашей семьи был самый страшный...
Выздоровев, я пошел в школу, где незадолго до этого был учителем физики Циолковский. Одно из самых сильных впечатлений моего детства — приборы и аппараты, созданные руками Циолковского для школьного физического кабинета.