Опозоренная Кими начала бракоразводный процесс и переехала к сестре, оставив Хироси на попечении своих родителей. Они воспитывали его с той же железной хваткой, с какой управляли Nintendo. С одинаковой серьезностью они много внимания уделяли его образованию, гигиене и манерам. Но Хироси против этого бунтовал и по мере взросления становился все более неуправляемым.
Высокомерный и нахальный, Хироси полностью игнорировал своих бабушку и дедушку и в итоге вырос во вредного, но красивого джентльмена с галантными манерами, самодовольной походкой и гордо выставленной вперед грудью. У него были густые волосы, а брови подчеркивали темные глаза. Хироси носил дорогие, но строгие костюмы. Свои длинные ногти он держал всегда ухоженными и отполированными. Он был угрюмым и едким, но свое настроение обычно скрывал под маской легкомыслия с налетом сухого остроумия. Его темперамент был следствием безотцовщины и плохо скрываемого презрения со стороны бабушки и дедушки.
Хироси иногда видел свою мать, но Кими, которая так больше и не вышла замуж, со временем стала больше напоминать тетку, а не родную мать. Она работала в дочерней компании Nintendo и занималась продажами.
Хироси Ямаути больше никогда не видел своего отца. Сиканодзо принес позор и бесчестье его семье, и, когда тот, старый и больной, пришел к своему сыну, Хироси отказался разговаривать с ним.
Позднее, когда Хироси было уже далеко за двадцать, а его волосы начали седеть, от своей сводной сестры он узнал, что их отец умер от апоплексического удара. Она сказала, что Хироси должен почтить память отца и посетить похороны. Ямаути просидел целый день в одиночестве, прежде чем решиться идти.
На похоронах Хироси встретил своих четырех сводных сестер, вторую жену своего отца и тетю, с которой он до этого не был знаком. Он был поражен, когда тетя сказала ему, насколько сильно он похож на отца, а сам он тут же задался вопросом, что же еще он унаследовал от Сиканодзо. К тому же он осознал, какую цену придется заплатить сыну за отказ простить отца.
Долгие месяцы после похорон Хироси очень сильно переживал. Он много плакал; эта смерть изменила его, и эта рана, кажется, так никогда и не зажила. На протяжении всей жизни он постоянно приходил на могилу Сиканодзо.
В 1940 году Хироси отдали в подготовительную школу в Киото, и Сэкирё планировал послать его в университет, где он должен был изучать юриспруденцию или же выучиться на инженера. Но началась война, и гражданская жизнь в Японии замерла. Во время войны бабушка Хироси Тэи стала главой семьи Ямаути. Вся семья при звуках сирен, предупреждавших по ночам об авианалетах в Киото, обычно скрывалась в бомбоубежище, однако Тэи продолжала заниматься бизнесом, как будто ничего необычного вокруг не происходило.
Тэи не могла позволить Хироси пойти в армию. Когда началась война, он был слишком молод и не попадал под призыв, однако к тому моменту, когда он достиг призывного возраста, в семье Ямаути понимали, что Япония проиграет эту войну. Чтобы уберечь его от войны, Тэи оставила Хироси в школе, и впоследствии он получил назначение на военный завод.
В то время не хватало ни риса, ни другой еды: большинство людей вокруг выживали исключительно благодаря картошке. Однако Ямаути благодаря запасам Тэи каждый день носил с собой драгоценный обед из риса. Во время одного из обеденных перерывов Хироси заметил, что за ним с жадностью следит его начальник. Хироси поделился с ним и в тот же день получил награду — свободное время. После этого случая Хироси стал носить два обеда — один для себя, другой для своего начальника, и каждый день ему давали увольнительную.
Когда в 1945 году война закончилась, Ямаути поступил в университет Васэда изучать юриспруденцию. К тому же благодаря стараниям своего деда он женился. Его невестой стала Митико Инаба (никакого отношения к Сикандзо она не имела, это было простое совпадение фамилий) — потомок очень высокопоставленного самурая, лояльного к даймё, который владел островом Сикоку в начале эпохи Мэйдзи. Этот влиятельный и богатый самурай переехал с Сикоку в Киото, где он женился и взял фамилию Инаба. Там он открыл небольшой бизнес по производству тончайших частей перегородчатой эмали, или клуазоне, — его изделия впоследствии прославились во всем мире.
В Японии, когда брак официально устроен, родители жениха и невесты обычно встречаются, чтобы обсудить все насущные вопросы. Однако, поскольку в браке Хироси были заинтересованы лишь бабушка и дедушка Ямаути, первая встреча больше всего напоминала встречу двух кланов: здесь были Сэкирё, Тэи и Кими Ямаути, а также родители Митико и ее две бабушки и оба дедушки. Вскоре после этой традиционной церемонии пара официально оформила свои отношения.