Услышать о легкомысленной польке ему все же довелось. Стоило ей зажить отдельно от любовника, как к ней стали наведываться молодые люди. Она им не отказывала, и вскоре все ее посетители были заражены той же болезнью, что и Казанова. Разъяренные кавалеры обвинили во всем Соблазнителя. Они утверждали, что он привез к ним в город заведомо зараженную дамочку. На что тот резонно отвечал, что едва он прознал про болезнь своей возлюбленной, так тут же с ней расстался. В утешение легкомысленным он признался, что сам успел подхватить ту же болезнь. Но слухи распространялись быстро, обвинения сыпались градом, и Казанова решил покинуть город. Попрощавшись с родными, он отправился в Вену, по дороге он завернул в Лейпциг, на знаменитую осеннюю ярмарку поесть знаменитых лейпцигских жаворонков, специально отлавливаемых в первые осенние дни, когда они особенно жирные. Тамошние трактиры славились своими блюдами из жаворонков, а так как мясо этой птицы почиталось особенно питательным, венецианец полагал, что оно благотворно скажется на его здоровье и он сумеет поправиться, ибо за время варшавских потрясений, а также после очередного лечения он основательно похудел. Благодаря разумной экономии он увозил из Дрездена около четырех сотен дукатов, выигранных им в карты, а также кредитное письмо к одному из лейпцигских банкиров, по которому он мог получить три тысячи экю. Комната в лучшей гостинице и диета из жаворонков были обеспечены.
В Вену Соблазнителя сопровождала очаровательная жена аптекаря из Монпелье. Впрочем, женщина эта, склонная к авантюрам не меньше, чем сам Казанова, давно забыла о своем законном супруге, путешествуя по Европе с друзьями сердца, которые менялись постоянно. Казанова познакомился с ней в Лондоне, когда все мысли его были заняты зловредной Шарпийон, и он не оценил аптекаршу по достоинству. По дороге Авантюрист на три дня задержался в Праге, где встретился с певицей Калори, alias Терезу-Беллино.
В австрийской столице, куда Казанова прибыл в начале января 1767 года, неприятности Казановы умножились. О его пребывании прознал бывший его приятель Пассано, от которого в свое время венецианец с трудом откупился в Марселе, когда тот пытался препятствовать ему в деле с «перерождением» маркизы д’Юрфе. Пассано, проходимец мелкого пошиба, жил за счет темных делишек и карточной игры; он давно уже считал бывшего приятеля врагом. Заманив к себе Казанову, он вместе с парой сообщников мускулистого телосложения отобрал у него кошелек, наговорив при этом кучу мерзостей. Авантюрист готов был вспылить, но рассудок подсказал, что один против трех — не воин. Пришлось уйти без кошелька. Не вызывать же мерзавцев на дуэль?! Последствия встречи были плачевны. На следующий день его вызвали к штатгальтеру, графу Шраттенбаху, предъявили колоду карт (виденную им впервые), кошелек (его собственный, почти пустой), обвинили в пристрастии к азартным играм, запрещенным императрицей, и приказали в двадцать четыре часа покинуть город. Оправданий штатгальтер слушать не пожелал, кричал, припомнил его варшавские похождения, и только «малодушная любовь к жизни» помешала Казанове выхватить шпагу и проткнуть «толстую свинью Шраттенбаха», посмевшего повысить на него голос.
Во многих городах, где останавливался Авантюрист, он попадал в поле зрения полиции и даже имел с ней кое-какие неприятности, впрочем, достаточно незначительные, так что он даже не всегда вспоминал о них в «Мемуарах». Американский казановист Ривз Чайлдз отмечает, что Казановой интересовалась полиция многих стран: римская — в 1745 году, парижская — в 1759-м и 1767-м, кёльнская — в 1760-м, флорентийская — в 1760-м и 1771-м, туринская — в 1762-м, варшавская — в 1766-м, венская — в 1767-м, барселонская — в 1768 году… Иначе и быть не могло, ведь Казанова усиленно посещал злачные места — бордели, игорные дома и притоны. Но пока у него имелось множество знатных друзей и покровителей, полиция к нему не слишком цеплялась: всегда находился кто-нибудь, готовый поручиться за него. Тем более что серьезных преступлений он не совершал, и к проступкам его более подходило название «недозволенные шалости». Когда же Фортуна повернулась к Казанове спиной, власти быстро припомнили ему грехи и старые, и новые…