Как только они вошли в город, люди Колонна ворвались во дворец Папы и в дома кардиналов, которые его поддерживали: Джентиле Монтефиоре, Педро Испанского, Теодорико Орвието и Франческо Каэтани, племянника Бонифация. Дома кардиналов были быстро захвачены и разграблены, а если прелатам и удавалось спастись невредимыми, то только благодаря бесславному бегству через сортир. Два здания пострадали меньше: дворец Папы и дворец его племянника Пьетро II, графа Казерты и маркиза Анконской марки.
Тем временем подестат Ананьи звонил в городские колокола и собрал горожан на центральной площади, чтобы решить, что делать. Противники Папы были самыми многочисленными или, по крайней мере, самыми крикливыми. С криками "Да здравствует король Франции и Колонна" и "Смерть Бонифацию, да здравствует король Франции" они избрали народного капитана Адинольфо ди Маттиа, которого до сих пор называют Адинольфо ди Папа, и которому население принесло присягу. Он не был чужаком: его семья состояла в родстве с семьей Папы Григория IX, и он был известным врагом Каэтани. Согласно хроники Орвието, именно он приказал открыть ворота города тем же утром. В любом случае, похоже, что он действовал в согласии с Ногаре, который присутствовал на собрании народа и настаивал на том, чтобы муниципальные войска несли знамя Церкви: речь шла о защите католической веры против узурпатора и еретика Папы.
С этого момента нападавшие сосредоточились на штурме папского дворца. К Скьярра Колонна и Адинольфо ди Маттиа присоединились сыновья Джованни да Чеккано, которого Папа держал в тюрьме, и прежде всего Ринальдо да Супино. Последний был, шурином племянника Папы, а также сыном капитана города Ферентино, расположенного в нескольких километрах к югу от Ананьи. Именно оттуда вышел отряд Ногаре. Ринальдо и Ногаре некоторое время поддерживали контакт, что позволяет предположить, что они вместе готовили эту экспедицию. Вражда всех этих персонажей к Папе не имела ничего общего с обвинениями в ереси; это был вопрос старых семейных споров и ненависти, вызванной агрессивной патримониальной политикой Бонифация VIII, который без колебаний репрессировал своих соперников. Конфликт с Филиппом Красивым стал для них возможностью почетно прикрыть свои действия и получить выгоду от могущественного союзника.
Сопротивление папской гвардии оказалось более жестким, чем ожидалось. "Пуская стрелы во все стороны и забрасывая камнями нападавших", — говорит наш английский свидетель, им удалось удержать их на расстоянии. Однако дальность полета папских стрел имела свои пределы, и вскоре Бонифаций попросил перемирия, которое было заключено до трех часов дня. Состоялся обмен полномочными представителями, но Скьярра Колонна был непреклонен, жизнь Папы будет спасена при трех условиях: возвращение церковной казны двум или трем кардиналам; восстановление духовных и мирских прерогатив двух кардиналов Джакомо и Пьетро Колонна и их семей; и немедленное отречение от престола и сдача в плен Скьярре Колонна. Папа отказался, и штурм возобновился.
Дворец Папы Римского примыкал к собору и сообщался с ним изнутри. Люди Скьярра Колонна подожгли двери собора и, ограбив находившихся внутри купцов, двинулись к дворцу по внутреннему переходу, разбивая двери и окна. Через несколько минут они "яростно" ворвались в комнату Папы. Затем началось чрезвычайно напряженное противостояние. Бонифаций VIII театрально, предложил себя на мученическую смерть. По мнению его сторонников, он сидел на папском троне, на нем была красная мантия, тиара, ключи Святого Петра и крест; по мнению других, он просто лежал на своей кровати. Рядом с ним находился кардинал Педро Испанский, только что бежавший из своего дома через сортир, и его прислужники-спальники, тамплиер и госпитальер. Его племянник Пьетро II уже сдался и был заперт вместе со своим сыном Бенедетто; архиепископ Григорий Катупани, как сообщается, был убит во время штурма. Перед Папой, в окружении своих вооруженных людей, находились его самые опасные враги: Скьярра Колонна и Ринальдо да Супино. Гийом де Ногаре, вероятно, тоже был там, хотя наш главный свидетель, совсем о нем не упоминает. Заявления главного действующего лица путаются: Ногаре говорил, что он не следовал за солдатами в комнату Папы, но он также говорил, что он противостоял "насилию вооруженных людей" и спас жизнь Бонифацию, что подразумевает, что он все-таки там был.