С годами Филиппо Мария залегает на дно все глубже и глубже. Он избегает появлений на официальных церемониях и религиозных праздниках. Когда осенью 1431 года германский император Сигизмунд прибывает в Милан, чтобы торжественно принять Железную корону Италийского королевства, Филиппо Мария приказывает военной знати принять его и следить за ним. В ответ на настойчивые приглашения Сигизмунда он жалуется на боли в животе и глазах, не позволяющие ему покидать покои. Повсюду ему мерещится западня. Чтобы уменьшить опасность, он устанавливает четкие правила для приемов: у каждой из комнат замка свое назначение. Знать вводят в самые первые залы. Пройти дальше могут только советники, и совсем немногие из вельмож удостаивается сидеть за одним столом с ним самим. Еще меньше тех, кто может входить в его личные покои. Филиппо Мария собственноручно проверяет список гостей, которых соглашается принять.
Тому, кто добился аудиенции, не следует приближаться к окнам — его могут заподозрить в том, что он подает тайный знак врагу. Во время бесед герцог непрестанно ходит по залу и все время оборачивается, словно боясь внезапного нападения. Преследуемый навязчивой идеей, что его хотят убить, он все время переезжает из одного замка в другой, из Миланского, окруженного громадным парком, в замки в Кузаго, Виджевано, Павии, Аббьятеграссо; избегая ловушек, он в своих переездах следует по сплетениям каналов или по дорогам, предназначенным только для него.
Будучи очень суеверным, перед каждым важным решением он советуется с лучшими астрологами Павии. Лунного затмения или неблагоприятного расположения звезд достаточно, чтобы он изменил все свои планы. Он приказывает убивать ворон, ибо опасается их зловредного влияния, и после ночи, полной тревожных снов, его часто видят бормочущим молитвы и шепчущим заклинания. Он запрещает, чтобы в его присутствии говорили о смерти и появлялись в черных одеждах. Веря в магический смысл цветов, он приказывает подавать ему в первый день каждого нового года белого коня. Всем придворным, советникам и даже судьям предписано носить туники и платья ярких цветов. Сам он меняет цвет одежды в зависимости от времени года. Зимой он носит горностаевые куртки с серебряной окантовкой и двухцветные шаровары: бело-аметистовые или бело-красные, весной — туники и широкие зеленые плащи.
Старея, он проявляет все больше отвращения к церемониям и праздникам. Он уже не выезжает за пределы своих замков. Расплывшийся и тучный, вовсе не следящий за собою, он больше не появляется на людях. Имея столько конюшен, полных лучших чистокровных жеребцов, он отказывается и от выездов, и от охоты. Его мучают боли в глазах, и он подолгу сидит, закрывшись в полутемной спальне, с повязкой на глазах. И мало-помалу превращается в короля-призрака…
Ночи его беспокойны; едва опускается вечер, как для него начинается другая жизнь. Тьма и тишина для него невыносимы. Пробуждаются страхи детства: боязнь привидений, ужас перед грозой. Гром вселяет в него такой страх, что он приказывает сделать в спальне стены двойной толщины и скрывается там, даже если просто поднимается сильный ветер. Ночью кошмары заставляют его вскакивать с постели и уходить в другие покои. Если заснуть не удается, он велит подавать еду и питье. Вечно мучимый жаждой, он держит рядом с собой прислужника, который подает ему воду и вино, а также пьет все подаваемое первым.
Единственное приятное ему общество — пажи и слуги, с которыми он ведет веселые непринужденные беседы и отбирает по точным критериям, ясно выраженным в письме к графу Скотти 1434 года, где он просит изыскать для него «людей молодых, рослых, смелых и красивых, дабы держать их при себе». Будущие пажи проводили два года под надзором воспитателя, решавшего, смогут ли они оказаться на высоте задачи и развеять одиночество молчаливого и мрачного господина. Их «стажировка» начиналась со строгого режима изоляции: не дозволялось никакого контакта с окружающим миром, ни с родными, ни с друзьями. Взамен, если герцог проявлял благосклонность к кому-нибудь из них, он осыпал его почестями и милостями. Только слугам позволено свободно ходить по всему замку; через них Филиппо Мария общается со знатью и от них узнает все новости. Здесь всем известен его «тайный и постыдный порок», как именует его Леонелло д’Эсте, советуя биографу герцога, Пьеру Кандидо Десембрио, вовсе об этом не упоминать.