Вологда в то время была, по словам Гиляровского, полна политических ссыльных, которых местные обыватели называли одним словом - "нигилисты". Здесь были революционные демократы, народники, ссыльные по делу Чернышевского и по делу "Молодой России", жили здесь Н. В. Шелгунов и П. Л. Лавров, были и участники польского восстания 1863 года. На улице то и дело можно было встретить "нигилиста" в широкополой шляпе, в небрежно накинутом на плечи пледе или народника в красной рубахе, в поддевке и простых сапогах.
Ссыльные бывали частыми гостями и в доме Гиляровских. Народники, неразлучные братья Васильевы, не только репетиторствовали, но и просвещали юного гимназиста, по части политики. Жили они большой колонией в маленьком флигельке у самой гимназии. Гиляровский посещал их вечеринки, слушал оживленные споры, распевал песни о Стеньке Разине. В августе, когда родные жили еще в деревне, кружок ссыльных собирался у Гиляровских, в глухом саду.
Однажды один из ссыльных принес гимназисту Гиляровскому запрещенную книгу, роман Чернышевского "Что делать?". Юноша залпом прочитал книгу, и она произвела на него сильное впечатление. Неведомый Рахметов, ходивший в бурлаки, спавший на гвоздях, чтобы закалить себя, стал мечтой смелого юноши, давно уже полюбившего свой народ. Гиляровский решил последовать примеру Никитушки Ломова и в июне 1871 года после неудачного экзамена в гимназии, без паспорта, без денег ушел из родного дома, на Волгу, в бурлаки.
Начались скитания под чужим именем, началась бродяжная жизнь...
Из Вологды в Ярославль добрался пешком. На Волге уже свирепствовала холера, безжалостно косившая волжский люд, крючников, рабочих причалов. У пристаней дымили пароходы, буксиры деловито тянули длинные караваны барж, но не видно было старинных бурлацких расшив, куда так хотелось попасть под влиянием только что прочитанного романа. В поисках Гиляровский долго бродил по берегу, любуясь большим русским городом, живописно раскинувшимся на Волге. Какой-то старик, случайно встреченный на берегу, указал на загорелых оборванных людей, как раз выходивших из кабака. Это были чуть ли не последние на Волге бурлаки. Один из них по пути в Ярославль умер от холеры прямо в лямке, а заменить было некем. Может быть потому так охотно приняли они Гиляровского в свою семью.
- Прямо говорить буду, деваться некуда, - хитрил он, скрывая свое прошлое, - работы никакой не знаю, служил в цирке, да пришлось уйти, и паспорт там остался.
- А на кой ляд он нам?.. Айда с нами, на заре выходим, - пригласили бурлаки. Кто-то указал на сапоги, посоветовал:
- Коньки брось, на липовую машину станем!
Сапоги пропили, купили на базаре онучи, три пары липовых лаптей, и с рассветом Гиляровский уже тянул лямку в расшиве, шедшей на Рыбинск.
Никакие превратности судьбы не пугали его: кончилась путина, - работал крючником, лихо справляясь с девятипудовыми кулями муки; набив железные мускулы, - оказался в солдатской казарме; исключили из юнкерского училища поступил истопником в школу военных кантонистов; не имея зимой пристанища, пошел на белильный завод купца Сорокина в Ярославле, а с первыми пароходами подался в низовья Волги и очутился на рыбных промыслах; скитаясь по волжским пристаням, нанялся в Царицыне табунщиком, погнал породистых персидских жеребцов в задонские казачьи степи, арканил и объезжал лошадей на зимовниках; оказавшись в шумном Ростове, поступил наездником в цирк, разъезжал с ним по российским городам - из Ростова в Воронеж, из Воронежа в Саратов.
Проскитавшись так до 1875 года, Гиляровский в Тамбове отстал от цирка и, став совершенно случайно актером, связал с тех пор значительную часть своей жизни с театром, выступал на сценах Тамбова, Воронежа, Пензы, Рязани, Саратова.
Нелегкой была жизнь провинциального актера в то время - вечное недоедание, нужда, скитание по городам. Ютились кто прямо на сцене театра, закутавшись "в небо и море", кто на пустых ящиках или на соломе где-нибудь в подвале под домом антрепренера, кто в летнее время в садовой беседке устраивался на ночь; ели всей труппой из общей чашки, уходя в город, занимали друг у друга платье, пальто, сапоги, странствовали по Руси пешим путем, по шпалам.
Как-то однажды труппа, в которой служил Гиляровский, шла из Моршанска в Кирсанов за телегой, нанятой для актрис. Кто-то из актеров предложил старику-антрепренеру купить хотя бы картошки.
- Помилуйте-с? - удивился он. - Где же это видано, чтобы в августе месяце картошку покупали? Ночью сами в поле накопаете.
И труппа, как вспоминает Гиляровский, не торопясь, двинулась в путь "делали привалы и варили обед и ужин, пили чай, поочередно отдыхали по одному на телеге", а ночевали на земле, под телегой, на рогожах и театральных коврах.
В перерывы между сезонами Гиляровский в поисках "простора и разгула" оказывался то где-нибудь на Дону, то поднимался на Эльбрус, то снова скитался по волжским пристаням, то вновь поступал в театр и играл в Саратове в труппе А. И. Погонина, вместе с В. П. Далматовым, В. И. Давыдовым, В. Н. Андреевым-Бурлаком, а свободное время проводил среди "галаховцев", обитателей ночлежки Галахова. Летом 1877 года он добровольно вступил в солдаты, и вся труппа провожала его на Кавказ, на войну с турками. Через несколько месяцев Гиляровский был уже среди пластунов-охотников и, рискуя жизнью, как кошка, ползал по горам, пробирался в неприятельские цепи, добывая "языка".
Прослужив после отставки несколько сезонов вместе с Далматовым в Пензе, Гиляровский в 1881 году поселился в Москве, работал в театре А. Д. Бренко. К этому времени за плечами была уже богатая жизнь, знание людей, опыт. Куда бы ни бросала судьба, какие бы лишения ни испытывал Гиляровский в годы своих скитаний, он никогда не раскаивался, что покинул отцовский дом, гимназию, сонную тихую жизнь в семье. Он был искренне благодарен автору романа "Что делать?", который окунул его в жизнь, заставил узнать свой народ, разделить с ним его тяготы и потом рассказать о нем в своих книгах.
Интерес к литературе, пробудившийся у Гиляровского еще в гимназические годы, не затухал и во время скитаний. Он посылал отцу пространные письма, в которых живо рисовал бродяжную жизнь. В притонах рождались его первые стихи, исписанные ими листы серой бумаги посылались отцу, но долгое время не видели света. Отец бережно сохранял и стихотворение "Бурлаки" (1871), и очерк из жизни рабочих "Обреченные" (1874), и другие рукописи сына. Стихи переписывались политическими ссыльными и ходили по рукам. Рассказывая позже о своем прошлом, Гиляровский любил читать друзьям "Бурлаков" и удивлялся тому, что цензура изъяла их из "Забытой тетради".