У Фэрбенкса дела тоже шли не блестяще. В 1930 году он вслед за Пикфорд подписал контракт с Шенком, что перенесло всю тяжесть продюсерской деятельности на «Арт Синема». Фильм «Полет на Луну» получился весьма неудачным.
Летиция Фэрбенкс впоследствии писала о «все нараставшем беспокойстве дяди, его желании отвлечься». Фильмы интересовали его все меньше, и если раньше он отдыхал в перерывах между съемками, то теперь делал фильмы в промежутках между путешествиями. Уже «Полет на Луну» показывает, что творческий запал Фэрбенкса иссякает.
Фильм задумывался не для того, чтобы перенести образ его героя в звуковое кино, а для того, чтобы снять соответствующую моде поделку с поющими и танцующими героями. Шенк пытался сотворить из Фэрбенкса вальяжного барона с Уолл-стрит, который преследует Бибе Даниеле на сверкающем корабле. Но самыми привлекательными кадрами фильма стали музыкальные номера Ирвинга Берлина, которые по иронии судьбы вырезали, когда мода на мюзиклы прошла. То, что осталось от фильма, выглядит весьма неубедительно. За улыбкой Фэрбенкса чувствуется отчаяние. В сцене, когда он теряет девушку, на его лице появляется тень неподдельного одиночества. «Для постороннего наблюдателя, — писал позднее Фэрбенкс-младший, — он оставался все тем же энергичным лидером, но его действия носили уже лишь автоматический характер».
После окончания работы над фильмом Фэрбенкс вместе с Томом Герата отправился в Англию играть в гольф (он страстно любил как гольф, так и саму Англию). Едва вернувшись на родину, Фэрбенкс поехал путешествовать в чисто мужской компании с Чаком Льюисом и режиссером Виктором Флемингом. Находясь вблизи берегов Гонолулу, Фэрбенкс ставит рекорд по количеству телефонных звонков с корабля на берег, связываясь с номером Мэри в нью-йоркском отеле.
В Японии Фэрбенкс увлекся фехтованием и джиу-джитсу. В Шанхае он посещал опиумные притоны. В Бангкоке он встречался с местным королем. Во время сафари в Индии он, сидя на слоне, убил трех леопардов, тигра и пантеру. В то же время его постоянно мучили дурные предчувствия.
Он снялся еще в двух картинах, которые сам продюсировал, но при этом не слишком заботился о результатах. Знаменитая картина «Вокруг света за восемьдесят дней» (1931) повествовала о приключениях. Спустя год Фэрбенкс снял фильм «Робинзон Крузо», играя в азартные игры на Таити. У многих зрителей обе ленты вызвали недоумение. Но эти картины нисколько не смутили самого Фэрбенкса; напротив, они помогали ему достичь своей цели. «Если человек катится по наклонной, — размышлял он, — то ему надо сделать все возможное, чтобы поскорее достичь дна».
Пикфорд чувствовала себя ужасно, ее мучил страх. Часто она понятия не имела о планах своего мужа. Не знала о них и пресса. Намерение отправиться в путешествие возникало у Фэрбенкса спонтанно. У него так часто менялось настроение, что его секретарь в течение дня делал все необходимые приготовления для четырех поездок в разных направлениях. Фэрбенкс провел несколько отпусков в Пикфэре, в 1932 году посетил Олимпийские игры, но все остальное время находился где-то вдали от дома. Мэри редко виделась с ним: «Просто не могу поспевать за человеком, само существо которого олицетворяет движение, пусть и бесцельное». Она ошибалась. У ее мужа имелась цель. Он не хотел ни думать, ни чувствовать, ни останавливаться. И он хотел находиться там, где не было Мэри Пикфорд.
Все это время он убегал от своих демонов, исследуя Филиппины, Суэцкий канал, Сибирь, Маньчжурию, Монголию и Марокко. Конечно, Фэрбенкс мог бы играть в гольф и в Пикфэре, но ему нравилось выезжать на международные соревнования. Он нередко играл с принцем Уэльским. В Англии и Европе Фэрбенкс удовлетворял свою слабость к общению с аристократией, да и другие слабости тоже.
«Фэрбенкс был всего лишь человеком, — говорил Чак Льюис, — и его окружало множество женщин, готовых пофлиртовать с ним. Конечно, он ухаживал за ними только тогда, когда поблизости не было Мэри. Он никогда никого не обижал и сохранял благоразумие». Ходили слухи о романе Фэрбенкса с Лупе Велез, его партнершей по фильму «Гаучо». Фэрбенкс-младший знал, что отец изменяет жене. Однажды, когда он гостил в Пикфэре, на него произвела впечатление одна молодая японка. Ей было всего шестнадцать, не намного меньше, чем ему. Он отвез девушку в студию отца и там соблазнил ее. Джей Ар очень нервничал, а она оставалась совершенно спокойной и дала ему понять, что все в порядке. «Не беспокойся. Ты очень хороший, — сказала она, а затем добавила: — Ты так похож на своего отца в любви». В течение нескольких дней Фэрбенкс-младший не мог разговаривать с отцом.