Любая семейная жизнь увеличивает расходы, и перед Казановой — в который раз! — встал вопрос о подыскании еще какой-либо доходной должности. Опросив приятелей и друзей, он наконец нашел место секретаря при маркизе Спиноле. Уроженец Генуи, Спинола был богат, взбалмошен и ленив; жена наставляла ему рога, и он изменял ей направо и налево. Жил он то в Венеции, то в своих поместьях, обожал устраивать лукулловы пиры, пышные празднества и веселиться до упаду. Согласившись занять место при богатом ветрогоне, Казанова ощутил предчувствие надвигающейся беды и не ошибся. В доме Джанкарло Гримани ему довелось познакомиться с графом Карлетти, офицером. Узнав, что Казанова служит секретарем у Спинолы, Карлетти рассказал ему, что несколько лет назад заключил с маркизом пари, выиграл его, но выигрыш, двести пятьдесят цехинов, не получил до сих пор.
— Ежели вы поможете мне получить эти деньги, — заявил граф, — я в долгу не останусь.
В иное время Казанова почел бы недостойным участвовать в таком деле, но времена переменились.
— Скажите, на сколько я могу рассчитывать? — спросил он Карлетти.
— О, деликатность не позволяет мне… — начал граф.
— Оставим деликатность, граф. Скажите прямо: сколько вы мне заплатите?
— Пусть это решит хозяин дома.
— Согласен, слово Гримани — лучшее поручительство.
Получив со Спинолы долг, Казанова потребовал свою долю, но в ответ услышал лишь невнятное бормотание о каких-то процентах. Казанова напомнил, что речь шла о наличных деньгах, граф принялся оскорблять его, началась ссора. Присутствовавший при ней Гримани принял сторону офицера, и обиженный Казанова удалился, хлопнув дверью. Вскоре весь город обсуждал случившееся. Все считали Казанову низким трусом, позволившим Карлетти безнаказанно оскорбить себя. Подобный позор можно было смыть только кровью, вызвав обидчика на дуэль. Однако, не сделав это сразу, Казанова опоздал: Карлетти уже покинул Венецию. Не имея возможности защитить свою честь в поединке, Казанова взялся за перо, и через несколько дней в городе стали продавать памфлет под названием «Ни любви, ни женщин, или Очищенные конюшни». Действующими лицами памфлета были мифологические персонажи, в образах, словах и поступках которых легко угадывались действующие лица скандала, случившегося в доме Гримани. Однако автор не ограничился одним происшествием, он разразился гневной филиппикой против злоупотреблений, допускаемых некоторыми аристократами. Но самое страшное оскорбление своим памфлетом Казанова нанес семейству Гримани, утверждая (разумеется, в аллегорической форме), что он является сыном законной жены Микеле Гримани, и Себастьяна Джустиньяни, а вовсе не Дзанетты Фарусси и Микеле Гримани. Эти рассуждения вызвали настоящую бурю, ибо Казанова не только утверждал свое родство с Гримани, но и требовал причитавшуюся, по его мнению, ему долю их богатств. Брошюра шла нарасхват, и пока цензоры принимали решение конфисковать тираж, он успел разойтись. Гримани молчаливо снес оскорбление, только отказал Авантюристу от дома, то же самое сделали его друзья и знакомые. Казанова понял, что он перестарался. Он попытался было отступить назад, но было поздно. Прокуратор Республики настойчиво посоветовал ему поскорее оставить Венецию. Казанова моментально собрал свои нехитрые пожитки и бежал в Триест.
Оттуда он написал прокуратору Морозини, где признавал свое заблуждение и упрекал Гримани в том, что тот закрыл перед ним двери, не дав ему возможность оправдаться. «Мне пятьдесят восемь лет, — писал он, — и мне трудно ходить пешком, особенно когда зима не за горами; думая о том, что мне вновь предстоит скитаться по градам и весям, я гляжу на себя в зеркало и смеюсь: нет, вернуться к былому я уже не могу».
Через месяц он вернулся, написал несколько пустых докладов для инквизиторов, собрал свои вещи, попрощался с Франческой и покинул город. Внутренний голос говорил ему, что это навсегда. «То ли я не создан для Венеции, то ли Венеция не создана для меня, или же мы оба не созданы друг для друга», — написал Казанова. Это случилось в январе 1783 года. Почти девять лет провел он на родине, и теперь он покидал ее — усталый, разочарованный и не питающий никаких надежд. Друзья и знакомые от него отвернулись, ему осталась верна одна Франческа.
Казанова уехал в Вену, где несколько месяцев прожил за счет приятелей, посещая званые обеды, завтраки и ужины.
Затаив неприязнь к изгнавшим его властям, Казанова, пользуясь своей известностью предсказателя, решил им отомстить. Спустя несколько недель после его отъезда инквизиторы получили анонимное письмо, в котором утверждалось, что 25-го числа текущего месяца в Венеции начнется землетрясение, оно разрушит город до основания. Письмо посеяло панику, многие патриции стали срочно покидать город, особенно когда узнавали, что автором письма являлся некий Казанова, ухитрившийся вложить свое послание в дипломатическую почту. Оракул Казановы был известен многим, и его предсказания в основном сбывались. К счастью, не на этот раз.