Чтобы хоть как-то свести концы с концами, Гоген некоторое время работал расклейщиком афиш, потом в 1886 году уехал в Понт-Авен в Бретани, где жизнь была гораздо дешевле и ещё сохранялись обычаи старины. Время от времени ему удавалось продать несколько своих работ, но постоянно приходилось бегать от кредиторов.
В 1887 году вместе с другим приятелем, тоже художником, Шарлем Лавалем он уехал в Панаму чтобы разыскать там какого-то родственника и предложить ему некий мало реальный экономический проект. Он хотел также вновь увидеть экзотику, которая была ему хорошо знакома. «Я еду к дикарям», – писал он. Затея оказалась неудачной. Оба художника работали на строительстве Панамского канала, чтобы прокормиться и заплатить за переезд на Мартинику, но в дело вмешалась болезнь Лаваля. Он заразился малярией, совершенно отчаялся и даже думал покончить с собой. Добравшись наконец до Мартиники, они поселились там в какой-то хижине в окружении райской природы. Гоген, воодушевлённый этим Эдемом, который вызывал у него столько воспоминаний, написал там цикл картин, после чего, нанявшись матросом на корабль, в 1887 году вернулся во Францию. Больной дизентерией и павший духом, он поспешил на Монмартр, чтобы узнать, что там нового.
За плечами Гогена были пятнадцать лет занятий живописью, участие в выставках импрессионистов, несколько проданных картин, оригинальные керамические работы. Он не был заурядным художником, когда пришёл в «Большой Бульон» знакомиться с произведениями бывших учеников Кормона. Ранняя живопись Гогена известна мало, и это несправедливо, многие из его ранних работ свидетельствуют о редком таланте. Но при всём великолепии красок и оригинальной композиции, при всём обаянии этих произведений, в них не прочитывается какая-либо объединяющая их мысль. Видна сильная натура, но художник ещё не нашёл собственную манеру Он писал то под Писсарро, то под Сезанна, который обвинил его в том, что он украл его «маленькое ощущение», то в манере Дега. Сила его живописи не находила своего выразительного языка, стиля. Словом, Гоген показал себя «великолепным вторым». Было очевидно отсутствие у него собственных идей, он пытался найти свой путь, подражая разным стилям с намерением превзойти их. Но это ему не удавалось, и он всякий раз оказывался слабее образца. Чрезвычайно восприимчивый и действовавший инстинктивно, он был противоположностью Винсента, который с увлечением и блеском излагал на многих страницах писем свои творческие устремления. Гоген же с трудом осознавал то, что било ключом в его живописи. Ему требовались чужие идеи, чтобы разобраться в самом себе.
Его картины с Мартиники были выставлены в галерее Тео, Винсент видел их и был ими очарован. Поскольку он сам искал способы достижения максимальной яркости цвета, у него, возможно, появилось ощущение, что он видит результаты этого поиска, которые менее чем через три месяца привели его в Прованс.
Быть может, Гоген понял, как работает связка братьев Ван Гогов? И сообразил, что для того, чтобы добиться благосклонности маршана, надо войти в дружеские отношения с его братом? Это представляется более чем вероятным. До этого беспокойного голландца никто не выражал таких восторгов по поводу его живописи. Забавные работы этого чудака украшали стены ресторана, и он предложил Гогену обменять одну из его мартиникских картин на две свои, изображающие подсолнухи. Винсент сразу поставил себя в неравноправное положение. Почему на две? Одна за одну – разве это не было бы справедливым?
Гоген, который, разумеется, не был инициатором обмена (Винсент предлагал такие взаимные дарения всем художникам, которые ему нравились), согласился на сделку, полагая, что его мартиникский холст «На берегу реки» вполне стоил двух полотен Винсента, в чём был явно не прав. Чтобы в этом убедиться, достаточно увидеть пламенеющие подсолнухи на синем фоне, написанные Винсентом в Париже.
Часто Винсент подталкивал Тео к покупке работ того или иного художника. Так Тео купил у Гогена картин и керамики на 900 франков. Для Гогена, только что выбравшегося из страшной передряги, измученного нищетой, болезнью, отчаянным положением жены и детей, это был подарок судьбы. А Винсент, этот странный художник крайностей, был для него всего лишь братом его маршана. От их обмена картинами сохранилась записка, отправленная Гогеном Винсенту в декабре 1887 года. Он начинает с обращения «уважаемый господин», не предполагает встречи для обмена картинами, которым займётся Тео, и при всей любезности тона сохраняет дистанцию (17).