Два первенца Генри-старшего, его сыновья Уильям и Генри-младший, родились в Нью-Йорке в 1842 и 1943 годах. Позже у них появились еще два младших брата и сестра. Возможно, по причине расхождений во взглядах со своим отцом, Генри-старший создал в собственной семье духовно и социально демократичную атмосферу. Дети были окружены любовью и не сдерживались запретами. Их отец потакал им, храня «внутреннюю уверенность в том, что характер его детей невозможно испортить».
Семейство Джеймсов отличала любовь к путешествиям. Они много раз пересекали Атлантический океан. Первое путешествие семья совершила, когда Уильяму Джеймсу не было еще и двух лет. Дети Джеймсов не получили систематического школьного образования, они время от времени посещали частные школы в тех городах, где на разные сроки селился их неугомонный отец — в Нью-Йорке, Олбани, Ньюпорте, Лондоне, Женеве, Париже и в нескольких городах Германии.
За исключением психически уравновешенной матери Уильяма, все прочие члены семьи в тот или иной период своей жизни испытывали приступы ипохондрии. Когда Уильяму было 2 года, его отец пережил необъяснимое, мистическое, катастрофическое состояние, которое без успеха пытались вылечить ведущие врачи и которое служило причиной расстройства всей семьи в течение почти двух лет. Наконец, в творчестве шведского мистика Эмануэля Сведенборга Генри-старший нашел исцеление и основу для своих последующих духовных книг, писанию которых Генри-старший и посвятил весь остаток своей жизни. Не по годам эмоционально развитый Уильям, вероятно, осознавал трудности, испытываемые его отцом. В возрасте 20 лет Уильям тоже пережил трудное время, даже помышлял о самоубийстве. Годы спустя, после самостоятельного исследования чувства беспокойства, Уильям пришел к выводу, что невротическое состояние его отца проистекало из его подавленного детского чувства вины за бунт против собственного отца и его религии.
Мальчиком Уильям проводил химические опыты и собирал коллекцию мелких морских животных. Его отец прочил ему карьеру ученого. Возможно, по причине своего бессистемного свободного образования и общей неусидчивости Уильям долго и трудно искал свой путь в жизни. Сначала он кратко познакомился с искусством. Несмотря на разочарование Генри-старшего по поводу того, что сын не избрал стезю науки, отец разрешил Уильяму учиться живописи под руководством ньюпортского художника Джона Ла Фаржа в 1860 и 1861 годах. Интерес к живописи продлился недолго.
К началу гражданской войны 1861 года Уильяму и Генри было почти по 20 лет, — подходящий возраст для вступления в армию, однако ни один из братьев не испытывал наклонности к этому.
У Генри было заболевание спины, а у Уильяма — проблемы с нервами. В течение всей своей взрослой жизни Уильям испытывал повторяющиеся приступы болезни, которую в наши дни, возможно, определили бы как психосоматическое заболевание. Генри-старший не стал бы возражать, если бы его сыновья захотели записаться в армию, но, поскольку он был убежден в том, что и у Уильяма и у Генри-младшего имеются склонности к интеллектуальному труду, он поддержал их желание остаться в стороне от военных действий.
Осенью 1861 года, возможно, потому, что он чувствовал, что должен совершить нечто конструктивное — и к восторгу своего отца, — Уильям поступил в Научную Школу Лоуренса в Гарварде. Там он изучал химию под руководством Чарльза У. Элиота, соседа Джеймсов по Кембриджу, который, как выяснилось, оказался гораздо более талантливым администратором и организатором, чем ученым. Позднее Элиот стал президентом Гарвардского Колледжа и сыграл значительную роль в карьере Уильяма.
На втором году обучения в Школе Лоуренса боли, которые испытывал Уильям, и необъяснимая нервозность вынудили его взять академический отпуск на 8 месяцев или около того. Вернувшись в Школу, он переметнулся с химии на сравнительную анатомию, но его цели все еще не были определены. После обычных для него мучительных раздумий о собственном месте в жизни он решил попробовать заняться медициной и в 1864 году поступил в Гарвардскую Медицинскую Школу. Однако, вполне естественно, что вскоре внимание Уильяма оказалось поглощенным предстоящей экспедицией в Бразилию, которую собирался возглавить знаменитый гарвардский профессор зоологии и геологии Луис Агассиз. Уильям Джеймс принял участие в этой экспедиции. К тому времени ему было уже 23 года, и он надеялся, что путешествие даст ему возможность разобраться в себе и определить свои жизненные цели, — но этого не произошло. Хотя временами Уильям получал удовольствие от экспедиции, он вернулся из нее домой измученным физически и морально и пришел к выводу, «что конституция каждого человека ограничивает его конкретные эмоциональные и физические возможности».