Преоблечен като кюмюрджия, митрополитът бил побягнал от конака си и се укрил в избата на една къща. Съседка някаква го познала и предизвестила тълпата. Първенците се спуснали към тая къща, а подир тях и тълпата, и като намерили Дели Матея скрит в една бъчва, измъкнали го по бели гащи, затътрили го като мърша до Шипоклийския хан, а оттам и до конака.
Дели Матея бил осъден и на 28 май 1855 година за шести път поел към Светогорските манастири, гдето го изпращали на заточение. Ала патриаршията не го лишила от епархията му. Тогава налудничавият митрополит предприел смела постъпка. Захвърлил монашеското расо и предрешен като обикновен гражданин, скритом забягнал от Атон и се прибрал в Цариград, без да се обади нито на всесилния си брат, нито в патриаршията. Изчезването му хвърлило в смут синодалните старци. Те наклеветили противниците на Дели Матея в Самоков, че са организирали отвличането му от Светогорския манастир, за да го убият и тъй веднъж завинаги да ое отърват от него. Подбудени от Н. Аристарх, турските власти предприели следствие. Тогава Д. Смрикаров отишъл в Цариград, за да доказва невинноста на своите приятели, а сьщо и със скритача надежда да издири избягалия митрополит. Цели четири месеца гайтанджията търси Дели Матея в ханищата и кръчмите, както и в разни съмнителни заведения. Най-после го намерил в една бръснарница — обръснат и изгладен франт е европейски дрехи. Сборичкали се, тежкият гайтанджия надделял в борбата и с помощта на друг българин го отвел насила в патриаршията. Три дни по-кьсно Деля Матея отново бил изпратен на заточение в Атон. Уви! Макар сам да бил хвърлил монашеските одежеди, патриаршията помилвала митрополита и той пак се върнал в Самоков — по-разгулен и луд отвсякога. На всичко отгоре и с някаква венерическа болест. И през август 1859 г., когато отишъл да се цери в Серес, оставил архидякона си да го замества в митрополията и в църквата. В първия неделен ден, когато архидяконът посегнал към гръцкото евангелие по време на църковната служба, двамина младежи, Н. Ив. Образописов и Х. В. Колев, викнали с все глас към него да вземе българското евангелие, защото народът не разбирал гръцки. Разярен, архидяконът захвърлил евангелието, разсъблякъл се и напуснал църквата, заканвайки се най-люто, че двамината смелчаци ще бъдат наказани след завръщането на митрополита. Ала той не могъл да изпълни заканата си, защото още преди да се върне Дели Матея, двамина самоковски младежи го проследили до един „безчестен“ дом, измъкнали го оттам по бели гащи и с бой го принудили да мълчи…
Като се върнал от Серес, Дели Матея довел със себе си и драмския епископ Антим, за да му помага в службата. Наскоро подир това, по-точно на 13 ноември 1859 г., в митрополитския конак се явила делегация, водена от споменатия Н. Ив. Образописов, която заявила на Дели Матея, че народът не иска да слуша гръцко евангелие в църквата. Владиката уж обещал да изпълни народното желание. На другия ден служил новият епископ и като почнал да чете по гръцки, множеството се развикало: „Мучи, некеме гръчки, тука не е Гръкия!“ Настанал невъобразим шум, уплашеният епископ захвърлил патрахила и побягнал с клетви навън, а службата продължили българските свещеници. В същия ден Дели Матея се явил при каймакамина и го уведомил, че в града се готви въстание. Същото донесение направил и до софийския мютесариф, молейки го да изпрати войска. Ала и мютесарифът, и каймакаминът разбрали в какво се състои работата и посъветвали първенците пак да изпратят прошения в Царгирад за отзоваването на своя налудничав духовен пастир. Този път прошението било заверено с 279 печата и в него самоковци искали за техен митрополит да бъде назначен съгражданинът им Авксенти Велешки. И те пишат: „Некеме да седиме като волове у църквата и да не проумяваме ни що ни орати, ни що ни поучава гръчки владика.“