Однако по возвращении он заявил, что приехал с пустыми руками. «Странно, не правда ли, что все это очарование неба и моря не вызвало в то время никакого отклика с моей стороны».
Он сошел на берег в Марселе 31 июля и уже на следующий день приступил к работе, вернувшись к картине, которую начал перед отъездом из Ниццы. Позировавшая ему для «Желтого платья» Лизетта сидела, прямая как стрела, одетая в платье с пятью бантами, идущими один за другим сверху вниз; фоном картины были горизонтальные планки деревянных ставен, волнистые складки занавески, оконные рамы и балконная решетка. «Желтое платье» было гимном горизонтали и вертикали. Тщательно разработанная конструкция картины выполняла роль инструмента, улавливавшего игру света и цвета. Серые полосы солнечного света проникали через ставни, отражались в оконном стекле, собирались на бирюзовой оконной раме и нежно-голубых полосках занавески, разливались по красному кафельному полу и растворялись в водянисто-зеленых, сероватых и коричневато-желтых оттенках платья. Матисс признавался, что на протяжении всего путешествия не мог отделаться от мысли об этой картине, которая порой казалась ему гораздо более реальной, нежели представавшие его глазам таитянские виды. Вдали от дома, в тропиках, незаконченное «Желтое платье» открыло художнику неуловимый, полный нюансов, постоянно меняющийся свет Северного полушария.
Матисс в подробностях описал «Желтое платье» в письме к Амели, «путешествовавшей» вместе с ним по островам. Ежемесячно он отправлял с почтовыми пароходами до семидесяти исписанных мелким почерком страниц. Отсутствие жены угнетало его. «Здесь очень редко бывает тень, — заметил Мурнау, фотографируя Матисса, писавшего письмо домой. — Солнечный свет повсюду, но только не на вас». «Именно об этом я и говорю своей жене», — ответил художник. Болезнь Амели обострила у него чувство вины. На Таити его мучили угрызения совести и он клялся никогда больше не оставлять жену одну, однако, вернувшись в Ниццу, мгновенно забыл о своих обещаниях. Получив приглашение от комитета премии Карнеги как один из ее лауреатов, он не раздумывая согласился войти в состав жюри и начал готовиться к новой поездке в Нью-Йорк.
Несмотря на общественное признание, финансовая ситуация для Матисса складывалась крайне неблагоприятно. Покупатели по обе стороны Атлантики больше не сражались за его картины. Успех, которым он так наслаждался, оказался непродолжительным, цены упали, запас работ истощался. Между тем на его иждивении была огромная семья: больная жена, нуждавшаяся в уходе, плюс трое взрослых детей, вернее, три семейные пары. Дютюи ничего не добился в Каире, Жан с женой боролись за выживание, как и полагалось художникам, и даже Пьеру, самому успешному из всех, трудно было выживать как дилеру в условиях глобального экономического кризиса. За последние два года Матисс не написал практически ничего — за исключением «Желтого платья», но даже и эта картина к моменту его отплытия 12 сентября 1930 года в Соединенные Штаты еще не была закончена. Никаких серьезных планов на ближайшее будущее у художника не было, не считая практически обреченного на провал сотрудничества с Альбертом Скира. Блестящий, но вечно безденежный швейцарский мечтатель, Скира в разгар кризиса задумал издавать роскошные книги по искусству. Начать Скира решил с «Метаморфоз» Овидия и поэм Стефана Малларме с иллюстрациями, соответственно, Пикассо и Матисса.
Младший сын, унаследовавший здоровый оптимизм матери, относился к финансовым проблемам с легкостью. «Всякий раз, когда тебя начинает тревожить вопрос денег, представь себе сумму, в которой ты нуждаешься, и подсчитай все холсты… с которыми можешь расстаться без особого сожаления, — советовал Пьер отцу 25 октября 1929 года, на следующий день после краха на Уолл-стрит, — и ты увидишь, что на самом деле беспокоиться не о чем». Однако прогнозы сына были слишком оптимистичны: рынок произведений искусства в Соединенных Штатах через год после кризиса по-прежнему пребывал в состоянии застоя. Учитывая тот факт, что наиболее серьезными собирателями его живописи в 1920-х были американцы во главе со скандальным Альбертом Барнсом, для Матисса это было особенно прискорбно. Агрессивная манера американца скупать картины огромными партиями позволила ему собрать коллекцию современной французской живописи, не уступавшую по количеству и качеству собраниям Щукина и Морозова (которые к тому времени были национализированы и объединены в Музей нового западного искусства в Москве).