Уилли не исполнилось и четырех лет, когда старшие дети были направлены учиться в Англию в Дуврский колледж. Поскольку в семье не осталось никого, с кем он мог бы дружить, у маленького Уилли сложилось впечатление, будто он единственный сын у своих родителей. Именно таким восприятием самого себя объясняется отсутствие братьев у главного героя автобиографического романа «Бремя страстей человеческих». С годами он утвердился во мнении, что от братьев его отделяет не только расстояние, но и разные жизненные судьбы. Они были отправлены в Дуврский колледж — он поступит в Королевскую школу; они пойдут по стопам отца и станут юристами, он — писателем. Хотя он будет поддерживать с ними связь до конца жизни и испытывать к ним теплые чувства, между ними никогда не установятся доверительные отношения, которые формируются в ходе совместной жизни и на которых зиждятся родственные узы. Жена Чарлза Мейбл как-то призналась Робину Моэму, что хотя Уилли навещал их в Париже, «он никогда не испытывал глубокой любви к кому-либо из нас». Любопытно, что у будущего писателя сложились более сердечные отношения с женой Фредерика, Элен, чем с братом. Все свои новые книги, которые он дарил их семье, содержали посвящение ей, а не Фредерику.
Одной из причин, прервавших дальнейшее увеличение семьи Моэмов, должно быть, стала франко-прусская война 1870–1871 годов, которая вынудила большинство проживавших в Париже британских подданных покинуть французскую столицу. Роберт отправил семью в Лондон, где она оставалась в течение всей войны и последовавших кровавых гражданских беспорядков. Глава семьи вернулся в Париж в августе 1871 года и возобновил юридическую практику. Вплоть до своей смерти тринадцать лет спустя он трудился, не покладая рук, чтобы вернуть фирме былую репутацию и восстановить материальное благополучие семьи. Как вспоминал один из внуков писателя, Роберт Моэм подолгу бывал в разъездах, что оставляло ему мало времени для общения с женой и детьми. Поэтому неудивительно, что в мемуарах, написанных к концу жизни, писатель лишь кратко упоминает о своем отце: «Отец был чужим для меня».
Отношения с матерью сложились иначе. Отъезд братьев на учебу, отдаливший их от семьи, сделал маленького Уилли единственным объектом любви и заботы родителей. Его спальня, в которой стояла и кровать воспитательницы, находилась рядом с детской. Дважды в день его водили на Елисейские поля поиграть с детьми. Согласно установленному порядку и существовавшим в семьях среднего класса обычаям Уилли виделся с матерью в полуофициальной обстановке: ему разрешалось зайти к ней в спальню на несколько минут, когда после утренней ванны она нежилась в постели. Иногда вечером его приводили к чаю и просили прочитать гостям выученную басню Лафонтена. Это соприкосновение с окружением матери приоткрыло малышу мир культуры и приобщило его к изящному.
После смерти матери в «Голуа» было написано о ней как о женщине, которая совсем недавно украшала своей ослепительной красотой самые изысканные салоны, а в «Жиль Блазе» она была названа «очаровательной дамой, имевшей множество друзей в высших слоях парижского общества, где она была одной из самых заметных фигур, а также, разумеется, и в британском посольстве».
Летом Моэмы снимали дом в Довиле и жили у моря. Моэм вспоминал, как мать, сидя на пляже, занималась вязанием или разговорами и одновременно наблюдала за тремя игравшими в воде или на пляже детьми. Поскольку Уилли по малолетству не мог присоединиться к братьям, он находился под присмотром няни.
О ранних годах, проведенных Моэмом в Париже, мы многое узнаем из его воспоминаний и записей его племянника. Кроме того, имеются очень ценные зарисовки этого периода жизни Моэма, сделанные Виолеттой Хаммерсли. Несмотря на краткость, они восполняют много интересных деталей о детстве писателя, объясняющих особенности его развития как личности. Она вспоминает, как в воскресные дни ее сестра часто приглашала в гости Уилли Моэма и тот, «обладая исключительно богатым воображением», придумывал для них всякие игры. В парке, пишет она, «мы держались особняком; иногда Уилли понарошку раздавал нам воображаемые французские монетки у палаток, где продавались игрушечные деревянные мельницы, разноцветные воздушные шары и имбирные пряники самых разных форм; иногда он изображал старуху, держа в руке жестяную кружку, откуда извлекал вафли в сахарной пудре. Мы с удовольствием принимали это угощение во время кукольных представлений».