Казанова започва да търси подходяща дейност, в която да вложи значителните си спестявания. Богатите парижани са погълнати от луксозните вещи — килими от килимарската работилница на Гобелин или на Савонери, изящни платове от Ру Сен Виктор, шапки, коприна, тафта и панделки. Хрумва му идеята да направи фабрика за производство на ръчно рисувана коприна. Китайските коприни са на мода и той смята, че в Париж ще ги произвежда много по-евтино, отколкото, ако ги внася. Джакомо наема художник и къща и обзавежда голяма работилница, в която млади жени рисуват коприната. Той изчислява, че през първата година трябва да похарчи сто хиляди екю (над 890 000 английски лири), но се надява да печели по 500 000 лири годишно, след като фабриката заработи. Казанова дава 17 875 английски лири за материали и помещението и определя седмични заплати на стойност 3570 лири. Той е доволен, докато обмисля резултатите, и тъй като е Казанова, особено се радва на персонала — „двайсет момичета на възраст между осемнайсет и двайсет и пет години, всички скромни на вид и повече от половината достатъчно хубави“.120 През първите седмици от начинанието той им отделя доста време, макар да се упреква за разточителството си, защото щом някоя от тях забележи, че я харесва, иска обзаведена къща за проявената благосклонност.
Но се задава нещо по-сериозно. Седемнайсетгодишната Манон Балети му се вижда поразително красива. Отначало Казанова не смята да я прелъстява, защото родителите и брат й са му приятели. Джакомо обаче трудно устоява на красотата и девойката продължава да го очарова. След няколко месеца Джакомо решава, че Манон е влюбена в него, макар че баща й възнамерява да я омъжи за учителя по пиано Шарл Франсоа Клемен, надежден, второкласен композитор. Вероятно изпълнен с ревност (Клемен очевидно е влюбен в Манон, а тя поне се преструва, че е влюбена в него), Казанова разкрива чувствата си и Клемен излиза от играта.
Джакомо почти веднага е обзет от съмнения. „Мъж, който заявява, че е влюбен в жена само с езика на жестовете, трябва да ходи на училище.“121 Но Манон наистина е красива и Казанова я харесва все повече, макар че полага завидни усилия да се въздържа. Тя изглежда все по-влюбена в него и не скрива отношението си по въпроса за младите работнички във фабриката. Казанова се чуди какво да прави. Не може да се реши да я прелъсти, макар че Манон явно има желание. Постепенно тя му влиза под кожата. Проявява сдържаност, която има същия ефект — сякаш нарочно го дразни, като осуетява опитите му за сближаване. Щом въпросът с Джустиниана се урежда, Джакомо взима решение и предлага брак на Манон. Тя е очарована. Няма съмнение, че чувствата й са сериозни — запазени са 41 нейни писма до него, които говорят за голяма нежност и обич. През това време Казанова изпада във финансови затруднения. Той харчи прекалено много. Продава пет хиляди акции от фабриката си за петдесет хиляди франка (около 149 000 английски лири). За беда три дни по-късно една от работничките му изчезва с цялото съдържание на склада. Купувачът на акциите решава, че бизнесът не може да бъде възстановен, и си иска обратно парите. Казанова отказва да му ги върне; кредиторите го притискат и той е арестуван. Плъзва слух, че е замесен в съмнителни менителници — сериозно престъпление, което ако бъде доказано, го очаква каторга. Но доказателства няма и той е освободен. Невинността му е потвърдена от факта, че френското правителство отново го моли да отиде в Холандия, за да преговаря за заем.
В Холандия Джакомо отново се среща с Томас Хоп и Естер, с която започва усилено да флиртува. Впуска се и в разгулни игри с две проститутки, което впоследствие го отвращава (сексуалните авантюри с жени, които не харесва, не го удовлетворяват). После пристига писмо от Манон от Париж, написано в деня, преди да се венчае с архитекта Жак Франсоа Блондел122. Тя пише, че ще направи всичко възможно да забрави Казанова, и го моли, ако отново се срещнат, да се престори, че не я познава.
Джакомо е сломен от скръб, или поне така пише. Вероятно това е истина. Той не може да понесе мисълта, че е отхвърлен. Освен това претърпява неуспех в преговорите от името на френското правителство, решава да се откаже от идеята да продава френски държавни ценни книжа и напуска Амстердам. През първата седмица на февруари 1760 г. пристига в Кьолн, където възнамерява да отиде на театър, а после да отпътува за Бон. Като видна личност, му дават място на сцената, откъдето лесно може да наблюдава и зрителите, и актьорите. Казанова веднага забелязва особено красива жена и в антракта си урежда да го заведат в ложата й, или по-скоро в ложата на генерал-лейтенант граф Фридрих Вилхелм фон Кетлер, австрийския военен аташе. Дамата е любовница на фон Кетлер и е очарована да се запознае с Казанова. Двамата много си допадат и когато той казва, че на другия заминава, тя лесно го убеждава да остане в Кьолн.