По случаю переезда в новом доме устроили торжественный обед, на котором Калиостро выступил с пространной речью. Он говорил о том, что истинному философу претит мирская суета, а счастье можно обрести только в кругу друзей. Но и в этой речи, как, впрочем, и во многих других, магистр лгал, и скорее всего не только гостям, но и самому себе. С его амбициями, с жаждой вечно быть в центре общества провинциальный швейцарский городок явно не мог удержать его надолго.
Поначалу в дом к Калиостро зачастили поклонники, среди которых был замечен даже Лафатер. А один знатный француз привел с собой девочку-подростка, будущую мадам де Ла Рошжаклен, автора мемуаров, на страницах которых нашлось место не только магистру, «человеку маленького роста, толстому, черноволосому и с красивым лицом», но и его супруге, женщине «маленького роста, немного полноватой, очень белокожей, не слишком молодой, но ласковой и любезной». Завсегдатаем дома долгое время являлся кальвинистский пастор Кристиан Готлиб Шмидт, оставивший для нас словесный портрет тогдашнего Калиостро: «Его взор подавлял вас, уничтожал и полностью ускользал от ваших глаз. Это был идеальный тип чародея. Одна только форма черепа свидетельствовала о человеке необыкновенном […] но он был слишком склонен к паясничанью и шутовству; ему недостает величия»2. Магистру недоставало не только величия, но и трудолюбия: он никак не мог взять себя в руки, дабы заняться масонскими и алхимическими трудами, коих от него все ждали с нетерпением. С сеансами духопризывания дела также обстояли не лучшим образом. Они были редки и шли как-то наперекосяк. Говорят, когда в качестве «голубка» Калиостро выбрал одного из сыновей Саразена, мальчик настолько перепугался, что между родителями и магистром произошла значительная размолвка.
Чудес не происходило, и поток посетителей постепенно иссяк. Собственно, это был даже не поток, а ручеек, несравнимый с прошлыми бурными реками: в основном приезжали те, кто проживал неподалеку. Тем временем сбежавшая из тюрьмы и благополучно прибывшая в Англию Ла Мотт начала издавать свои «Мемуары», в которых основное место отводилось делу об ожерелье и, как следствие, графу Калиостро и его махинациям. Публика, подготовленная разоблачительными сочинениями, направленными против магистра, принялась жадно поглощать борзые писания Ла Мотт. Дурная слава — тоже слава, и граф по-прежнему вызывал любопытство, однако уже не восторженное, а скептическое, чего Калиостро никак не мог стерпеть. Изготовление эликсиров и притираний ожидаемого дохода не приносило. Горные пейзажи магистра не вдохновляли, к прогулкам на природе ни он, ни Серафина пристрастия не имели, а Серафине здешний климат и вовсе по вкусу не пришелся: ветры с гор, снег, лед…
Непонятно, по какой причине (не исключено, что от скуки) чета Калиостро очень скоро рассорилась с четой Лутербург. Художник обвинил магистра в небрежении своими прямыми обязанностями: он не трудится в лаборатории, не просвещает учеников, а лишь ходит на званые обеды и ужины. Интересно, каким образом он собирается возвращать ему долг? Дамы же перессорились из-за своих мужей: Серафина заявила, что Люси Лутербург вешается на шею Калиостро, а Люси ответила, что Серафина только и ждет, чтобы прыгнуть в постель к художнику. А мужья… Как пишут современники, знаменитые мужья действительно обхаживали жен друг друга. Скандал разгорелся нешуточный. Вечерами художник плодил карикатуры на Калиостро и методы его лечения, а по утрам развешивал их на улицах Бьенна. Карикатуры были едкие, одни подписи чего стоили! Например, подпись под карикатурой «Завтрак с минеральной водой графа Калиостро», изображавшей больных, часть которых выстроилась на прием к магистру, а другая часть тут же мучилась от рвоты, гласила: «Расход на целебные травы — 0,10 ливра, доход от настоек и пилюль — 1 000 000 ливров». В городе образовались две партии: Калиостро поддерживали Саразены, баннерет и де Женжен, за Лутербурга стояли бургомистр и его взрослые дети. Серафина, научившаяся, по словам Мак-Колмана, в Бастилии писать3, неровным почерком написала Саразенам, что Лутербурги жаждут получить первое место в очереди на омоложение и поэтому не дают покоя магистру.
Лутербург не намеревался идти на мировую: он подал иск, дабы магистр вернул ему деньги (около двухсот фунтов). Калиостро подал ответный иск, только повод оказался каким-то странным, не внушавшим доверия… 11 декабря 1787 года Калиостро подал в магистрат жалобу, в которой сообщал, что слуга Лутербурга по имени Абрагам Риттер по приказу своего господина купил порох и пули, дабы зарядить пистолет и застрелить его, Калиостро. На этом основании граф потребовал выдворить Лутербурга из Бьенна. Жители городка потеряли покой и, недовольные склочными соседями, стали потихоньку роптать. Лутербурги переехали в дом бургомистра, откуда Филипп де Лутербург отправил Калиостро вызов на дуэль. Магистр расхохотался и (как обычно) предложил сразиться на ядах. Вмешавшийся в конфликт Саразен с трудом добился компромисса, уговорив Калиостро заплатить небольшую сумму и пообещав Лутербургу доплатить долг магистра. А чтобы стороны немного успокоились, он на три недели увез графа и графиню из Бьенна. Калиостро остался недоволен решением и все время брюзжал. В отвратительном расположении духа он вместе с Саразеном прибыл в Ольтен на очередное, 28-е собрание Гельветического общества, где здравомыслящие швейцарцы снова решили не связываться со столь непонятной и неприятной личностью, как граф Калиостро. Саразен сделал все возможное, чтобы поднять авторитет магистра, но дурная слава Калиостро уже распространилась по всей Европе. Поссорившись с Саразеном, Калиостро отбыл в Бьенн. К началу июля пришлось подводить плачевные итоги: Лутербург выиграл иск против Калиостро; магистр окончательно разругался со своим самым преданным учеником и другом Саразеном, обвинив его во всех смертных грехах, и с баннеретом, который, по его словам, все время тайно поддерживал художника; жители Бьенна обиделись на Калиостро, заявивившего, что все швейцарцы — ханжи, лицемеры и обманщики, и в ответ недвусмысленно намекнули, что, собственно, графа в кантоне никто не держит.