После смерти мужа бабушка Александра Васильевна осталась с семерыми детьми. Ютилась семья Шелковых в небольшой квартирке. Дети росли бойкими, охочими до насмешничества, любили игру, розыгрыши, шутки. Мария Федоровна часто вспоминала, как привезла Льва Борисовича знакомить с родней и как её братья, пока играли с ним в городки, задразнили его до того, что он вспылил и собрался даже укладывать чемодан.
Собирались на каникулах дети под родительский кров не все и не всегда. Старший сын Гавриил, дядя Гаврюша, был акцизным по винным лавкам, жил в Жиздре. Федор окончил юридический факультет и заседал в одесском суде. Николай работал в конторе Тульского оружейного завода. Сестры — Саша, Катя и Зина — повыходили замуж и тоже разъехались кто куда.
Но в ту пору почти все ещё жили вместе и были очень талантливыми актерами. Мария Федоровна считалась неплохой характерной актрисой. Выступали в любительском кружке, которым руководил барон Н. В. Дризен, в скором будущем известный историк театра, один из руководителей петербургского «Старинного театра». В основном ставили Островского. Когда восемнадцатилетняя Маша сыграла Галчиху в «Без вины виноватые», Дризен не хотел верить, что она не видела в этой роли Садовскую. Иван Иванович Проходцев, сын Александры Федоровны, т. е. двоюродный брат Жени, уже в семидесятые годы хорошо ещё помнил «Грозу», в которой «Мария Федоровна играла Кабаниху, мама — Катерину, а дядя Гаврюша — Дикого». Когда с кем-нибудь из детей случалось некое расстройство, шутили, что его посетил Дризен.
Впоследствии у Евгения Львовича было такое чувство, что в Рязани они бывали чаще, чем в Екатеринодаре. И «вероятнее всего», — предположил он, — «дело заключалось в том, что в те годы я жил одной жизнью с мамой, и вместе с нею чувствовал, что наш дом именно тут и есть. И рязанские воспоминания праздничнее екатеринодарских… Мало понятный мне тогда, бешено вспыльчивый отец, обычно исчезал, будто его и не было».
Частые переезды семьи Шварцев были связаны ещё и с последствиями студенческой жизни отца. В 1898 году он закончил Университет и получил назначение в город Дмитров, что под Москвой. Но прожили они здесь недолго. Вскоре Льва Борисовича арестовали по делу о студенческой социал-демократической организации, которую раскрыли уже после их отъезда из Казани.
Вначале его увезли в Москву, потом — в Казань, и Мария Федоровна с сыном следовали за ним. Снова полустанки, вокзальные буфеты, пересадки, стук колес, тряска; снова Женя сидит на столике перед окном. Ему хорошо.
В Казани Мария Федоровна добилась свидания с мужем.
— Папа сидит по одну сторону стола, мама по другую, а посередине уселся бородатый жандарм, положив на стол между ними руки. Я бегаю по комнате и кричу. Мне надоело слушать разговоры старших. «Не кричи! — говорит отец. — Полицейский заберет». — «А вот полицейский!» — отвечаю я и показываю на жандарма. И он смеется, и родители мои смеются, и я счастлив и доволен. Любопытно, что это я запомнил. А страшную, напугавшую меня чуть не до судорог сцену, разыгравшуюся в конце свидания, забыл начисто, просто выбросил из души. Очевидно, она была уж слишком тяжела для моих трех лет. Когда, прощаясь, отец поцеловал маму, жандарм вдруг схватил её руками за щеки. «Выплюньте записку, я приказываю!». Отец бросился на обидчика с кулаками. Вбежали солдаты, конвойные. Отца увели. Я визжал так, что потом целый день не говорил, а сипел. Мама плакала. Её все-таки обыскали, но никакой записки не нашли. Бородачу, которого я только что рассмешил, просто почудилось, что папа, целуя, передал записку маме.
Приехали в Казань и родители отца. На одно из свиданий пошли все вместе. Но и в беде свекровь и невестка не сумели объединиться. В тюрьме они вновь жестоко поссорились, чем довели арестанта до слез. Свидание пришлось прекратить раньше времени. Позже, немного успокоившись, они нашли в себе душевные ресурсы для того, чтобы послать узнику совместное письмо и хоть как-то его утешить.
Полгода провел Лев Борисович в тюрьме, в одиночке. Потом его освободили под гласный надзор полиции. Проживание в губернских городах ему было запрещено.
И снова семья в дороге. Сначала они приехали в деревню Кубанской области, неподалеку от Армавира. Потом отец получил место врача в небольшом городке Ахтырка на берегу Азовского моря. И наконец они осели в Майкопе.