Тем временем навестить родовое гнездо в Дукс прибыл граф Вальдштейн. Приезд владельца замка сулил развлечения и увеселения, коим истосковавшийся по обществу Казанова предался воистину с юношеским пылом. Он даже принял участие в устроенных графом скачках, но свалился с лошади и сильно расшиб ногу. Граф предложил ему целебный пластырь, но венецианец отверг его, предпочитая примочки собственного изготовления. Излечившись, он написал своему другу, графу Ламбергу: «Вот я и снова здоров, прибавил в весе, ем как волк и сплю как сурок». Привыкнув всю жизнь заботиться о своем физическом здоровье, Казанова терпеливо восстанавливал силы.
Оправившись, он вновь уехал в Прагу, тем более что для поездки у него появился прекрасный повод: вышла его «История побега из Пьомби». Прочитав ее, друг Казановы, Ж. Ф. Опиц, восхищенный живостью авторского стиля, тотчас рекомендовал брошюру всем своим друзьям. Иное дело «Икозамерон»; роман был издан в пяти книгах, успеха не сыскал и разорил автора совершеннейше, ибо издание сделано было полностью за его счет. Ни подписчиков-читателей, ни книгопродавцев, пожелавших выкупить тираж, Казанова не нашел. В Праге Казанова встретился с Да Понте, как раз завершавшим работу над либретто к опере Моцарта «Дон Жуан». Уже была назначена премьера, Да Понте торопился, и Казанова принял участие в последней редакции либретто. Работа была напряженной, отношения между Казановой и Да Понте, как обычно, были натянутыми. Вдобавок Казанова пребывал в подавленном состоянии по причине провала «Икозамерона», и, ослабев духом, он быстро стал жертвой инфлюэнцы, свирепствовавшей в то время в Богемии. Однако, уверенный, что знает собственный организм лучше любых врачей, Казанова сам назначил себе лечение: режим, строгую диету и чай без ограничения. Чай был любимым напитком Казановы (в отличие от Вольтера, предпочитавшего кофе).
Вернувшись в Дукс без гроша в кармане, он сразу почувствовал, что ему здесь не рады. Прислуга, объединившись, возобновила травлю. Казанова принялся защищаться и даже пошел в наступление. Будучи вспыльчивым и обидчивым от природы, к старости он совершенно перестал себя сдерживать. Он цеплялся к пустякам, поднимал скандалы на ровном месте: жаловался на собак, мешавших ему спать своим лаем, на кучера, избравшего для него самую скверную дорогу, на кухарку, испортившую его кушанье. В ответ кухарка, склочная и злобная бабенка, отказалась готовить и подавать Казанове отдельно, и ему пришлось обедать вместе с ненавистным ему Фельткирхнером. Тут Казанова разошелся: он бушевал из-за стакана молока, который ему забыли подать, из-за неправильно приготовленных макарон и вчерашнего кофе, из-за кислого соуса и подгоревшего жаркого. Сварливый и вечно чем-то недовольный, он ухитрился поссориться даже со своим гостеприимным хозяином. Матушка Вальдштейна мечтала женить сына, надеясь, что после свадьбы он остепенится, прекратит колесить по Европе и беспутствовать. Но вместо женитьбы Вальдштейн соблазнил юную девицу по имена Каролина, служившую в замке камеристкой, и сделал ее своей любовницей. Не сумев повлиять на сына, о романе которого судачила вся округа, старая графиня обратилась к Казанове с просьбой вразумить графа. Подобные поручения никогда не смущали Авантюриста, желание указать и распорядиться было у него в крови; он согласился. И потерпел полное фиаско, ибо, забывшись, взял неверный тон — принялся свысока, по-отечески увещевать графа. Вальдштейну это не понравилось, и он сухо ответил, что не нуждается ни в чьих советах, и уж тем более в советах библиотекаря. После такой беседы Казанова несколько дней не разговаривал с графом, но потом они помирились; узнав, что Казанова остался без гроша, граф купил у него все его рукописи. Таким образом замок Дукс стал естественным хранилищем рукописей Казановы, его архивом (каковым он и является по сей день; в нем же расположен музей Казановы).