Первым голливудским фильмом Оливье стали “Друзья и любовники” — история о том, как в Северной Индии муж использовал жену для шантажа соблазненных ею офицеров. Искусительницу играла роскошная, зажигательная француженка Лили Дамита; Эрих Штрогейм и Адольф Менжу тоже оказались в списке знаменитых имен, на которых эта шестидесятишестиминутная лента спекулировала с весьма скромным кассовым успехом. Поставил картину Виктор Шертцингер.
О своих первых голливудских съемках Оливье вспоминал как об эпизоде трагикомическом: “Штрогейм на репетициях был поглощен проблемой грима. Чтобы выглядеть зловеще, он должен был носить черную повязку на одном глазу и монокль в другом. Но какое украшение для какого глаза? Он без конца менял местами повязку и монокль, добиваясь одобрения Шертцингера. Он был исключительно трудолюбив, но за пределами съемочной площадки казался рассеянным, нервным, смятенным. Много лет спустя, когда мы увидели его в “Бульваре Сансет”, мне пришло в голову, что и в жизни, даже в 1931 году, он сам был точно таким же, этот поверженный колосс немого кино, потрясенный собственным падением”.
В “Друзьях и любовниках” Оливье сыграл лейтенанта Никольза, ставшего жертвой шантажа. Кто-то из критиков назвал его игру “чересчур манерной”. Большинство вообще не обратило на него внимания. Однако студия “РКО” была настолько довольна, что продолжала удерживать его и в тот момент, когда все студии переходили на режим строгой экономии.
Вскоре супругам Оливье наскучила бездеятельность между съемками, длившаяся месяцами. Позднее Джилл Эсмонд поясняла: “На студиях просто не понимали наши претензии. Мы исправно получали еженедельные чеки. Что же тогда могло вызывать недовольство? Вот как у них на это смотрели”. Между тем оба были честолюбивы, обоим претило безделье и отсутствие серьезных ролей. Посетивший в тридцатые годы Голливуд Дж. Б. Пристли удачно выразил их беспокойство: «Ремеслом по производству “грез” стоимостью столько-то долларов за столько-то метров пленки занимаются там бизнесмены, считающие себя художниками, и художники, считающие себя бизнесменами. Такая причудливая атмосфера всех заставляет измениться; от художника ускользает его искусство, а бизнесмен становится вспыльчивым и неуравновешенным».
Впрочем, Оливье ценил свое искусство достаточно высоко. Полный в двадцать четыре года энергии и честолюбия, он слишком часто готовился к съемкам, которые так и не начинались. В 1931 году, связанный договором со студией “Фокс”, он сыграл всего лишь в одной картине, сколько-нибудь достойной внимания. В этом фильме под названием “Желтый билет” снялись также Элисса Ланди и Лайонел Барримор, в незначительных ролях промелькнули Борис Карлов и Миша Ауэр. Несмотря на многословные и пустые диалоги, элегантная режиссура Рауля Уолша придала некоторое правдоподобие мелодраматической истории о еврейской девушке, подвергшейся в Петербурге преследованиям зловещего барона Андрея (Барримора), главы царской тайной полиции. Оливье весьма достоверно сыграл Джулиана Рольфа, молодого английского журналиста, ставшего на ее защиту. В пьесе, легшей в основу сценария, девушка убивала распутного барона шляпной булавкой. Создатели фильма благоразумно позволили ей застрелить героя. Однако здравый смысл все-таки изменил им, поскольку сцена спасения в финале была снята на роскошно оборудованном аэродроме — в довоенной России!
Следующий год оказался для Оливье еще более томительным, принеся всего одну картину — “Путешествие на запад” (1932), историю любви и последующего разочарования, с Энн Хардинг, Зазу Питтс, Джульеттой Комптон и девятилетней Бонитой Грэнвилл. Сам Оливье совершенно разочаровался в Голливуде, и его тоска достигла предела, когда, вернувшись из мексиканского отпуска и завершив съемки в “Путешествии”, он обнаружил, что впереди снова месяцы простоя.
Для Голливуда тридцатых годов подобная ситуация была самой обычной; в кинопромышленности, потратившей астрономические суммы на переход к звуковому кино, уже повеяло холодом депрессии. Над всеми студиями нависла угроза банкротства, и вынужденные меры жесткой экономии постоянно сбивали всех с толку. Съемки прекращались, едва успев начаться; актерам, чтобы сохранить место, приходилось соглашаться на половинное жалованье.