Смерть Агнес Оливье навсегда омрачила жизнь ее детей. Она обладала неистощимым терпением, силой духа, чувством юмора, без которых ей пришлось бы тяжко. Она остроумно передразнивала людей, и главным образом благодаря ей в доме Оливье царила любовная и веселая атмосфера. Возможно, стремясь вознаградить Ларри за явное безразличие к нему отца, она боготворила этого ребенка, который, несмотря на периоды уныния и скуки, обладал тем же вкусом к розыгрышу и шутке, что и мать. ”Она была совершенно прелестна, — вспоминает Сибил Торндайк. — Крепкая женщина с немного цыганским типом лица. Ларри походил на нее. Они с матерью были очень близки. Она так хорошо понимала сына. Не сомневаюсь, что чувство юмора он унаследовал от нее".
С 1918 года семейство Оливье обитало в большом доме в Летчуорте, в тридцати пяти милях от Лондона. Оливье-старший обосновался там в конце войны, чтобы принять приходы церквей св. Михаила и Всех Святых. Овдовев, он переехал в более скромное помещение поближе к церкви, откуда четырнадцатилетнему Лоренсу предстояло отправиться в публичную школу и испытать там весь ужас положения "новенького".
Несмотря на уверения Кэссонов, будто Лоренс рожден для театра, у отца еще были основания полагать, что в конце концов сын изберет духовную карьеру. Вся система его воспитания была направлена на то, чтобы подготовить мальчика к церковному служению, и отец сделал следующий надлежащий шаг: определил его в публичную школу с выраженным духовным уклоном — в школу св. Эдварда (“Тедди”) в Оксфорде.
"Тедди” основал в 1863 году человек, весьма близкий отцу Оливье: преподобный Томас Чемберлен, который, начав службу деревенским священником, так увлекся обрядами, что был объявлен папским прихвостнем, побит на улице камнями и выгнан из собственной церкви. Вдохновленный идеалами Оксфордского движения, Чемберлен видел в своей школе колыбель нового поколения священнослужителей, более активных и целеустремленных. В 1920-е годы плата за обучение, составившая 125 фунтов в год, намного превышала возможности любого священника, не имеющего фамильного состояния, но не поднималась при этом до уровня расценок в подавляющем большинстве английских частных школ; кроме того, несмотря на жесткий финансовый режим, мальчиков из семей духовенства все-таки принимали туда за уменьшенный взнос. Подобных претендентов было множество, и отцу Оливье, добивавшемуся места дла своего сына, отнюдь не помешало знакомство с герцогом Ньюкаслским, покровителем и старостой церкви Всех Святых, который был хорошо осведомлен о даровании Лоренса. В 1911 году герцог стал членом совета школы св. Эдварда.
Осенью 1921 года среди тридцати новых учеников в "Тедди" был зачислен Лоренс — один из семи сыновей священников. Сегодня он составляет гордость школы — наравне с Гаем Гибсоном, кавалером Креста Виктории, знаменитым асом Дугласом Бейдером, потерявшим ногу в Битве за Англию, и Кеннетом Грэхемом, автором “Ветра в ивах”. Однако Оливье так и не проникся симпатией к школе, и, по его словам, никому в св. Эдварде не было до него дела. («Школу я просто ненавидел, - говорил он. Без всяких натяжек могу утверждать, что и меня там не любили. С точки зрения моих соучеников, я был типичным “воображалой”. Я жаждал показать, как здорово даются мне спортивные игры, хотя они не давались мне совсем. И это тем более наполняло меня желанием, необходимостью проявить себя».)
Детство, проведенное в разъездах, не научило его заводить друзей. Он привык довольствоваться собственными фантазиями, и это оказалось спасением в школе, где все делалось сообща. Его пристрастия — церковная служба, пение гимнов, театр — в еще большей мере способствовали его изоляции. Среди трехсот мальчиков он казался одиночкой, насупленным юнцом, чью внутреннюю сосредоточенность легко было принять за отстраненность и чванство.
Верным ключом к уважению и популярности была спортивная доблесть. Оливье таковою не обладал. Наподобие своего отца, он мечтал отличиться в крикете, однако не унаследовал ни грамма той ловкости, какую всегда демонстрировал преподобный игрок в обращении с битой. О сборной школы нечего было и думать, но в последнем семестре он удостоился чести играть за свое общежитие. Он не мог нарадоваться, увидев надпись на доске: Оливье Л., № 11. Вооружившись битой, он, направляясь к калитке, уже предвкушал осеняющую его славу. Для победы необходимо было набрать семь очков. Он ступил на сцену, где готовилась величайшая драма его спортивной жизни.