Это решение вызвало яростную оппозицию со стороны двух братьев Дураццо, Людовика и Роберта. Вернувшись в королевство летом 1353 года, Людовик Дураццо, самый старший из оставшихся в живых членов семьи Агнессы Перигорской, попытался вернуть себе родовые владения и имущество племянниц, но получил отказ. Младший из братьев Дураццо, Роберт, вообще не стал возвращаться в королевство, а сразу же отправился ко двору своего влиятельного дяди-кардинала в Авиньоне, чтобы узнать, что можно сделать для улучшения своих перспектив. Роберт Дураццо отличался особой вспыльчивостью и драчливостью. Освободившись из плена, Роберт, не желая, как его брат, тихо удалиться, нагло вызвал Людовика Венгерского на поединок, чем привел в ярость остальных членов семьи и едва не спровоцировал возобновление вражды с Неаполитанским королевством.
Кардинал Перигорский немедленно вступился за племянников Дураццо, посоветовав Иннокентию VI предотвратить брак Марии с Филиппом Тарентским и потребовав, чтобы Папа попытался заставить мужа Иоанны передать имущество дочерей Марии на попечение их дяди Людовика Дураццо. Талейран также предпринял шаги, чтобы обеспечить состояние Роберта Дураццо, обручив своего молодого родственника с племянницей богатого Джованни Висконти из Милана, в надежде, что Роберт сможет использовать деньги своей жены и военную доблесть ее семьи, чтобы вернуть Неаполь для Дураццо.
Официальную позицию Иоанны по отношению к кузенам Дураццо и ее мнение о предстоящем браке сестры с Филиппом Тарентским трудно определить, прежде всего потому, что ее взаимоотношения с собственным мужем в этот период были мягко говоря натянутыми. Смерть их единственного ребенка, Франсуазы, очевидно, разрушила то хрупкое равновесие, которое существовало между супругами в месяцы, предшествовавшие их коронации. Хотя Людовик Тарентский письменно обещал не посягать на суверенитет Иоанны, он не испытывал подобных сомнений, когда дело доходило до навязывания своей власти в их личной жизни. Маттео Виллани говорит об этом прямо: "Он мало почитал королеву; была ли это его вина (а ответственность его была велика) или вина королевы, он часто бил ее, как поступали с женщинами низкого происхождения, к великому стыду короны"[200]. Сама Иоанна жаловалась в письме Иннокентию VI в декабре 1353 года, что она была "унижена" и "страдала"[201] в отношениях с мужем. Людовик регулярно изменял ей и стал отцом по меньшей мере трех внебрачных детей от других женщин. Иоанна, напротив, после рождения Франсуазы, больше от Людовика не беременела. Хотя она явно ненавидела мужа, это не обязательно означало прекращение интимной жизни. После его смерти Иоанна отказалась выходить замуж за сына короля Франции, мотивируя это тем, что близкородственные браки приводят к бесплодию и ранней смерти детей, что свидетельствует о том, что она продолжала пытаться зачать наследника с Людовиком, но безуспешно[202].
Так что не одобряла ли она то, что Людовик продвигал интересы своей семьи в ущерб интересов Дураццо, и просто не могла контролировать действия мужа, или же она ненавидела его, но в целом одобряла эту политику, сказать сложно. Известно лишь то, что королева заботилась о детях своей сестры, как о своих собственных, особенно о младшей племяннице, Маргарите, родившейся в Авиньоне, куда Мария бежала после гибели Карла Дураццо. Наиболее вероятным является то, что Иоанна понимала, что Мария представляет угрозу ее правлению, и одобряла меры, принимаемые ее мужем, даже если не соглашалась с его методами.
Ирония ситуации заключалась в том, что король и королева Неаполя, будучи личностно несовместимыми, тем не менее были едины в своих целях в отношении королевства. Оба желали стабильности и мира в стране, а также восстановления своего влияния в качестве лидеров партии гвельфов по всей Италии, как это было во времена правления короля Роберта. Сразу после коронации Людовик Тарентский основал новый рыцарский орден, воплотивший в себе все возвышенные цели и идеалы средиземноморской державы, которую пытался создать Карл I Анжуйский, главным из которых, как писал Никколо Аччаюоли своему кузену, епископу Флоренции, было "восстановление Иерусалимского королевства после отвоевания Сицилии"[203]. И поэтому Иоанна, похоже, изо всех сил терпела свое личное унижение в интересах более великого дела.