Каквото и да е станало, никой не е бил подведен под отговорност за това престъпление, а Жулиен станал неоспорим господар на плантацията. Макар още шестнайсетгодишен, той се бил доказал като напълно подходящ за тази роля — въвел ред сред робите и удвоил добивите от плантацията през следващото десетилетие. През целия си живот той останал действителният управител на плантацията, въпреки че по-малката му сестра — Катерин, наследила завещанието.
Маргьорит прекарала последните десетилетия от много дългия си живот в библиотеката, пълна с «ужасяващи и отвратителни» неща. Говорела си сама на глас почти през цялото време. Често заставала пред огледалото и водела много дълги разговори на английски с отражението си. Често и надълго беседвала и с растенията си, много от които произхождали от градината, създадена от баща й — Хенри Мари Ландри.
Много обичала многобройните си братовчеди, децата и внуците на Морис Мейфеър и Лестан Мейфеър. Те й отвръщали с яростна преданост, въпреки че тя постоянно ставала повод за мълва.
Робите обаче все повече намразвали Маргьорит и не искали да се приближават до нея. Изключение правели само двете квартеронки — Виржин и Мари. Дори се говорело, че Виржин биела старицата в последните й години.
През 1859 година една избягала робиня разказала на енорийския свещеник, че Маргьорит е откраднала бебето й и го заколила за дявола. Свещеникът съобщил на местните власти и започнало разследване. Обаче тогава се намесили Жулиен и Катерин, които били много харесвани и уважавани от всички. Те обяснили, че робинята е абортирала и не може да се говори за никакво бебе, но все пак зародишът бил кръстен и погребан по християнски.
Каквото и друго да ставало, Реми, Жулиен и Катерин очевидно увеличавали благосъстоянието си, били обградени от лукс и се наслаждавали на всичко, което Ню Орлиънс преди войната можел да им предложи — опера, театър и безкрайни частни забавления.
Тримата често се появявали, придружавани само от една квартеронка. Отсядали в разкошен апартамент в хотел «Сейнт Луис» и пазарували в модните магазини, преди да се върнат в провинцията. Има една шокираща история от онова време — Катерин искала да види прочутите балове на квартеронки, където младите жени със смесена кръв танцували с белите си ухажори. Тя отишла с прислужницата си на бала, представила се за дама със смесена кръв и успяла да заблуди всички. Имала много тъмна коса, тъмни очи и светла кожа и изобщо не приличала на африканка — но и много от квартеронките не приличали. Жулиен също имал пръст в тази афера, защото представил сестра си на неколцина млади мъже, които не я били срещали преди и повярвали, че е квартеронка.
Тази история просто втрещила старата гвардия. Младите бели мъже, които били танцували с Катерин, вярвайки, че тя е «цветнокожа», се почувствали унизени, а Катерин, Жулиен и Реми намирали цялата история за много забавна. Жулиен се бил поне в един дуел по този случай, като ранил опонента си много зле.
През 1857 година, когато Катерин била на седемнайсет, тя и братята й купили парцел на Първа улица в Гардън Дистрикт в Ню Орлиънс и наели Дарси Монахан, ирландски архитект, да построи къща там — настоящия дом на семейство Мейфеър. Най-вероятно тази покупка е била идея на Жулиен, който искал да има постоянна резиденция в града.
Катерин и Дарси Монахан се влюбили, но Жулиен показал изключителна ревност към сестра си и не искал да й разреши да се омъжи толкова млада. Разразила се огромна семейна свада. Жулиен се изнесъл от семейната къща в Ривърбенд и отседнал за известно време в апартамент във Френския квартал само с един придружител, за когото не се знае нищо, освен че бил от Ню Йорк и бил много красив и предан на Жулиен, което карало хората да шушукат, че двамата са любовници.
Мълвата говори още и че Катерин заминала за Ню Орлиънс, за да бъде с Дарси Монахан в недовършената къща на Първа улица. Там двамата се отдавали на ласки в стаите без тавани и в дивата, недовършена градина. Жулиен бил изключително нещастен, гневен и отчаян и помолил майка си да се намеси. Маргьорит обаче не проявила никакъв интерес към случая.