О своем детстве Брюсов рассказал с юмором, передавая дух времени, захвативший родителей: «Они с жаром предались моему воспитанию, и притом на самых рациональных основах. Начали с того, что меня не пеленали вовсе. Я мог барахтаться сколько угодно и наперекор старорусскому убеждению нисколько не вышел искривленным. Кормила меня мать сама, конечно, по часам. Игрушки у меня были только разумные. […] Родители мои очень низко ставили фантазию и даже все искусства, всё художественное. Им хотелось избрать своим кумиром Пользу. Поэтому мне никогда не читали и не рассказывали сказок. Я привык к сказкам относиться с презрением. Впервые прочитал я сказки лет 8–9-ти; тогда как читать научился я 3-х лет от роду, а полюбил слушать чтение еще раньше». «Если мы сами вышли ни то, ни сё, то пусть наши дети будут настоящими людьми», — писал Яков Кузьмич жене, пояснив в другом письме, когда любимому «Вальке» было всего девять месяцев: «Я не хочу, чтобы он вынес из своего детства обыкновенные обыденные впечатления с предрассудками».
Летом 1877 года Брюсовы, в семье которых только что родился второй сын Николай, отправились в Крым: первое путешествие в жизни Валерия. «Море и скалы, „царственные виды соседства гор и вод Тавриды“ сразу обольстили мое детское воображение. […] В памяти у меня остались лишь разрозненные отрывки впечатлений этого лета: запомнилась почему-то, и вполне отчетливо, Ореанда; запомнились стены севастопольских домов, на которых тогда еще показывали следы ядер и пуль Крымской войны; запомнилась бурная ночь, когда ветер срывал ставни на ялтинских домах, а в море затонуло немало рыбацких баркасов».
В 1878 году на Яузском бульваре у Брюсовых, незадолго до их переезда на Цветной бульвар, бывал революционер-народоволец Николай Морозов, будущий узник Шлиссельбургской крепости, почетный академик и автор «новой хронологии». Яков Кузьмич в революционном движении не участвовал, но считал делом чести помочь товарищам, если тех преследовали власти. Морозов сажал хозяйского сына «на свое колено и качал, предлагая мне воображать себя скачущим на лошади», но маленький Валерий вряд ли это запомнил. В марте 1910 года он записал в дневнике: «Познакомился с Н. А. Морозовым, шлиссельбуржцем. Он знал меня ребенком, качал на коленях — так как гимназистом и студентом был близок с моим отцом. […] Узнав, что я сын его старого знакомого, был тронут, обнял меня, поцеловал. Много говорил с моей матерью, вспоминал прошлое». Памятью нового знакомства стал инскрипт на втором томе собрания стихов «Пути и перепутья» (1908): «Николаю Александровичу Морозову на память о давних, давних днях, когда он качал на коленях будущего автора этой книги. Валерий Брюсов»{17}.
Валерий Яковлевич вспоминал, что родители воспитывали его не только рационально, но в материалистическом и атеистическом духе. «Об идеях Дарвина и о принципах материализма я узнал раньше, чем научился умножению. Нечего и говорить, что о религии в нашем доме и помину не было: вера в Бога мне казалась таким же предрассудком, как вера в домовых и русалок». Выступая с ответной речью на своем юбилее в Российской академии художественных наук 16 декабря 1923 года, он рассказывал: «Вся моя семья были именно шестидесятники. Первые мои впечатления в детстве — это портреты Чернышевского и Писарева, которые висели над столом отца и так и остались висеть до самой его смерти. Это были первые имена больших людей, которые я научился лепетать. А следующее имя великого человека, которое я выучил, было имя Дарвина. И, наконец, четвертое имя — Некрасова, поэзия которого была долгое время единственно знакомой мне поэзией. В доме нашем не было ни Пушкина, ни Лермонтова — я узнал их несколько позже, а стихи Некрасова я заучил с детства». Именно их он читал матери во время ее предсмертной болезни в 1920 году.
«Вот что было впечатлениями моего детства, вот что создало мое миросозерцание, мою психологию», — подытожил Валерий Яковлевич, добавив: «И я думаю, что какой она была в детстве, такой она осталась и до конца моей жизни». Эту фразу повторяли авторы популярных (а порой и научных) статей о Брюсове, стремясь выставить его последовательным материалистом, оторвать от «мистических туманов» символизма и объяснить его позднейшее сотрудничество с большевиками принятием их философии. Все, что не укладывалось в схему, — от юношеского увлечения спиритизмом до серьезных работ в области эзотерики и традиционных знаний — объявлялось недостойным внимания или замалчивалось.