Анри Матиссу было всего восемь дней, когда родители уехали в городок Боэн-ан-Вермандуа, где, уплатив холстом комиссионный сбор, открыли на перекрестке улиц Пе д'Эз и Шато (главной улицы Боэна) лавку. В ней продавалось буквально всё — от семян до скобяных изделий. Анна специализировалась на красках: давала советы покупателям, как красить дом и смешивать цвета для получения нужного колера. Прилавок с семенным зерном, за которым стоял Ипполит, вскоре превратился в отдел оптовой и розничной торговли; целая флотилия повозок непрерывно подвозила в магазин семена, удобрения и фураж для фермеров, которые выращивали свеклу на окрестных полях. Унаследовать процветавшее на волне промышленного бума отцовское дело предстояло Анри Матиссу. Боэн его детства из сонного ткацкого городка, затерянного в старинном лесу Арруэз, превращался в передовой промышленный центр с десятком тысяч ткацких станков, грохот которых, казалось, раздавался повсюду. За два десятилетия, предшествующих рождению будущего художника, население Боэна выросло с двух тысяч до четырех, а за первые двадцать лет его жизни увеличилось еще вдвое.
Основой процветания города были сахарная свекла и текстиль. Юный Матисс видел дымящие трубы сахарных заводов и ткацких фабрик гораздо чаще, нежели ветряные мельницы и колокольни, романтично украшавшие холмистые поля Вермандуа прежде. Осенью улицы городка были скользкими от свекольной пульпы, зимой воздух наполнялся зловонием гниющей в хранилищах свеклы. Очищенные от леса голые земли, расстилавшиеся вокруг Боэна, неприятно поражали приезжих. «Там, откуда я родом, растущее на огромном поле дерево выкорчевывают только потому, что оно бросает тень на четыре свеклы», — невесело шутил Матисс.
Самыми светлыми воспоминаниями о детстве остались прогулки по окрестностям и «охота» за первыми фиалками. Летом он любил послушать пение жаворонков, круживших над свекольными полями. Любовь к природе и всему произрастающему на земле сохранится у него на всю жизнь. Спустя полвека, устроив в Ницце роскошный вольер с экзотическими пернатыми, Матисс будет вспоминать о неказистых голубятнях, которые держали на задворках домов боэнские ткачи, повторяя, что малиновки и соловьи, не способные жить в неволе, ему гораздо милее самых расчудесных птиц. Пение этих птах в рощах Боэна и на руинах средневекового замка (совсем недалеко от отцовского магазина), где он играл в детстве, по-настоящему радовало его. В том старом замке был подземный ход, и по нему можно было пробраться к Сожженному дубу. Мальчишкой Анри не раз залезал на огромное изуродованное дерево, которое еще в XVII столетии пытались сжечь испанские солдаты-мародеры, молодым художником — рисовал его и не раз вспоминал о нем на склоне лет. Дуб был главной достопримечательностью городка, именно о нем любили рассказывать старики, еще помнившие прусских солдат, оказавшихся в Боэне в 1815 году после битвы при Ватерлоо.
Вообще-то за достаточно долгую жизнь Матисса немецкие солдаты занимали его родной город трижды. Впервые они промаршировали по улице Шато, мимо родительского магазина, под новый 1871 год. В Боэне появления неприятеля с ужасом ждали почти четыре месяца — со дня поражения Наполеона III в битве при Седане. Пока немецкие и французские войска стягивали силы для решающего сражения, боэнцы, заперев двери и наглухо закрыв ставни, тихо отсиживались в своих домах.
19 января Франция капитулировала. В Боэне был введен комендантский час, и жители города с мрачной покорностью больше месяца терпели непрошеных гостей. Когда немцы ушли, Анри было чуть больше года, он только начинал ходить и говорить. Сорок лет спустя, во время своей первой поездки в Германию, Матисс говорил, что знает по-немецки только два слова: «brot» и «fleisch» — хлеб и мясо. Он навсегда запомнил, как мать за обедом твердила словно молитву: «Уж на это-то немцы не смогут наложить свои лапы!»