Аутсайдером Джеймса во многом сделали религиозные взгляды его семьи. Как он позднее рассказывал журналу «Playboy»: «Я вырос в семье приверженцев Христианской науки, очень странной религии. Главная ее идея в том, что Бог может исправить все. Тело — всего лишь оболочка, и доктора ему не нужны. Это пугает и сбивает с толку. Я не мог даже пройти медосмотр, чтобы меня взяли в футбольную команду. Мне было ужасно не по себе, когда я уходил с уроков валеологии в середине учебного дня, а за моей спиной ворчали: «Почему это он уходит? Он что, какой-то особенный?» Ребенку всегда хочется быть таким, как все. Обо мне шептались и считали меня странным. Меня это очень огорчало. Отец преподавал в воскресной школе — ему это очень нравилось. Меня фактически заставляли туда ходить. На одном из наших церковных собраний присутствовала девочка со сломанной рукой. Она встала и сказала: «Смотрите, у меня сломана рука, но после проповеди я чувствую себя гораздо лучше». А рука при этом выглядела просто ужасающе. Даже вспоминать об этом неприятно». Бесспорно, эти события наложили отпечаток на жизнь и творчество Джеймса.
К 1980 году Хэтфилд собрал группу под названием «Obsession», в которой играли его друзья, братья Рон и Рич Велозы на бас-гитаре и ударных соответственно, и Джим Арнольд на второй гитаре. На репетициях, которые проходили в гараже братьев Велоз, Джеймс пел и играл на гитаре кое-как «снятые» каверы «Black Sabbath», «Led Zeppelin» и «Deep Purple» — например, «Never Say Die», «Communication Breakdown» и «Highway Star», а также музыку «Thin Lizzy» и «UFO». Джим Арнольд и Рон Велоз время от времени сменяли Хэтфилда на посту вокалиста, пытаясь выяснить, кто из них наиболее талантливый (или лучше сказать, наименее бесталанный) певец.
Макговни, близкий друг Джеймса, выступал с «Obssession» на различных вечеринках и посещал репетиции в доме Велозов. Он рассказал О'Коннору, что Рич и Рон установили в гараже пару осветительных приборов, которыми он и его друг Дэйв Маррз управляли с помощью самодельного пульта. Однако отношениям с братьями Велоз было суждено продлиться недолго. Спустя года полтора Джеймс, Джим Арнольд и брат Джима Крис решили сколотить новую группу — «Syrinx», специализировавшуюся исключительно на каверах «Rush» и просуществовавшую совсем недолго.
Нет никаких сведений о существовании записей «Obsession» или «Syrinx», хотя они могли бы стать настоящим откровением для фанатов «Metallica», привыкших к сегодняшнему мелодичному вокалу Хэтфилда. Тогда же голос Джеймса был достаточно слаб, а его умением держать ноту вряд ли можно было восхититься. Более того, улучшения наступили далеко не сразу, так как семье Хэтфилд пришлось пережить трагедию: вскоре после того, как Джеймс вышел из «Syrinx», его мать умерла от рака. Рон Макговни не помнит, чтобы друг упоминал о болезни матери: «Мы ничего не знали. Он уехал на десять дней, и мы думали, он просто решил отдохнуть. Когда Джеймс рассказал, что у него только что умерла мать, мы были поражены».
По возвращении Хэтфилд, которому в ту пору было шестнадцать, столкнулся со своими друзьями в фойе школы и сообщил им, что собирается переехать и сменить школу. «Мы рот раскрыли от удивления и не знали, как реагировать, — говорит Рон. — Он сказал: «Я соберу вещи и перееду к брату в Бри, где и буду ходить в школу». И мы все начали говорить что-то типа «да ну, такого просто не может быть»».
Но все именно так и произошло, хотя Хэтфилд продолжал видеться с друзьями по выходным. Дэйв Маррз в это время учился играть на ударных. «Мы звучали жутко», — вспоминает Рон. Тем не менее, несмотря на пережитое горе, переезд в новую школу, похоже, побудил Джеймса предпринять некоторые шаги по созданию собственной группы. В школе Бри Олинда хай-скул он познакомился с гитаристом Хью Тэннером и организовал новую команду с идеальным для метал-группы названием «Phantom Lord». Рону отводилась роль басиста. «Я возражал, что не умею играть на бас-гитаре, и вообще у меня ее нет, — позднее рассказал Рон. — Джеймс мне ответил: «Я тебя научу», так что мы взяли напрокат гитару с усилителем в Музыкальном центре Дауни, и Джеймс показал мне основные приемы». Как объяснил Макговни радио «Shockwaves», «Phantom Lord» был на тот момент самым серьезным начинанием из всех групп Хэтфилда: «Какое-то время мы играли с Хью Тэннером, который, кстати, весьма неплохо играл… а потом дали объявление, что нам нужен гитарист… Откликнулся парень по имени Трой Джеймс, и мы его взяли».