Это было вскоре после отмены крепостного права. В доме Вильямсов поселилась мать Елены Федоровны — Пелагея Парменовна, получившая свободу и имевшая возможность соединиться, наконец, со своей дочерью.
Няней в доме была тоже бывшая крепостная (из Смоленской губернии) — Александра Андреевна.
«Долгими зимними вечерами, — вспоминал впоследствии Вильямc, — при свете оплывающей сальной свечки наслушался я про зверства помещиков двух губерний и с детства пропитался глубокой ненавистью к дворянам-помещикам».
Бабушка и няня были первыми воспитательницами Василия Вильямса. От них он воспринял своеобразие и богатство русского языка, услышал впервые русские народные сказки и песни, узнал многое о русской природе, тяжелой жизни и трудам русского крестьянина.
С самого раннего детства мальчик начал изучать языки — английский, немецкий, французский и итальянский. В доме была хорошая библиотека, и Вильямc поражал окружающих, декламируя наизусть пушкинские поэмы. Кроме художественной литературы, в домашней библиотеке было много книг естественнонаучного содержания. Эти книги рано привлекли внимание мальчика. Но он не ограничивался их чтением, а подкреплял полученные им знания знакомством с природой и с производством.
Он ходил вместе с отцом на механический завод, где Роберт Васильевич работал в последние годы своей жизни, и с интересом наблюдал за трудом мастеровых, занятых на ремонте паровозов. У него установились дружеские отношения со многими рабочими. Они научили его умению обращаться с инструментами и привили мальчику любовь к мастерству, к чистой, красивой и аккуратной работе, что отличало Вильямса на протяжении всей его жизни. Талантливые русские мастера с их умением работать, с их метким и образным языком быстро привлекли к себе мальчика и оказали большое влияние на формирование его характера.
Этому способствовало и отношение отца к рабочим. Роберт Васильевич, на протяжении двух десятков лет близко соприкасавшийся с целой армией рабочих — сначала крепостных, а затем и «вольных», внушал сыну, что эти люди заслуживают самого высокого уважения. Он говорил: «Из каждых десяти русских рабочих и крестьян один по уму — министр, а девять — золотые руки». Эти слова глубоко запали в память Василия Вильямса, и он вспоминал их на протяжении всей своей жизни.
Смерть отца внесла резкие изменения в жизнь семьи.
Елене Федоровне пришлось срочно продать дом, чтобы рассчитаться с многочисленными долгами. Она переехала вместе со всеми детьми на Смоленский бульвар, сняв там квартиру на втором этаже небольшого двухэтажного домика (он и сейчас еще стоит на углу Смоленской площади и Ружейного переулка).
Средства, оставшиеся от продажи имущества, быстро таяли, но Елена Федоровна решила во что бы то ни стало продолжать образование детей. Сами дети быстро начали оказывать ей в этом помощь. Старшая дочь Софья, учившаяся в Московской консерватории у выдающегося русского музыканта Николая Григорьевича Рубинштейна, стала давать уроки музыки. Она была хорошей пианисткой, но перешла на педагогическое отделение консерватории, чтобы иметь возможность скорее помогать родным. Первое время ее заработки были почти единственным средством существования семьи. Вскоре поддержку семье стал оказывать и Василий. Однако до этого он сам еще некоторое время должен был находиться на иждивении старшей сестры.
Вильямс долгое время учился дома. Из-за отсутствия средств поступить либо в гимназию, либо в реальное училище первое время было невозможно — плата за обучение составляла 250 рублей в год.
Елена Федоровна решила, что сын дома подготовится прямо для поступления в четвертый класс. Большую помощь в этой подготовке ему оказал гимназист-старшеклассник Болеслав Корнелиевич Млодзеевский. Это был талантливый юноша, впоследствии видный русский математик, профессор Московского университета и общественный деятель в области народного просвещения. Он был известен своими демократическими взглядами и в 1911 году в знак протеста против реакционной политики царского министра просвещения Кассо вместе с другими прогрессивными учеными покинул университет и перенес свою педагогическую деятельность в Народный университет имени А. Л. Шанявского. В Московский университет Млодзеевский вернулся лишь после Октябрьской революции.
Гимназист Млодзеевский не только помогал своему ученику систематизировать его богатые, но разрозненные познания по всем предметам и особенно по математике, но и укреплял в молодом Вильямсе демократические устремления.