По общему мнению, Мамонов имел один весомый недостаток — страсть к накоплению и приобретению. Иными словами, жадность. Образ Дубровиц оставил в его сердце незаживающую рану, и после отъезда Александр Матвеевич приступил к императрице, умоляя купить для него подмосковное имение Потемкина. Князь любил Дубровицы. Село было куплено Григорием Александровичем в 1781 г. у князя С. А. Голицына, оно располагалось на старых боярских землях и было застроено с размахом. Хотя сам светлейший там не жил, но денег на приведение в порядок запущенного прежними разорившимися владельцами имения не жалел. Особая привязанность князя к Дубровицах объяснялась тем, что он сам думал под старость, подобно другим русским отставным вельможам, перебраться в Москву и здесь доживать свой век. Но судьба не отпустила ему ни времени, ни места для покоя.
Екатерина II считала Дубровицы просто одним из многочисленных имений светлейшего, которые он нередко продавал в казну для уплаты долгов, а затем вновь получал от императрицы в подарок. Потемкин часто расходовал свои деньги на государственные нужды и, по меткому выражению принца Ш.-Ж. де Линя, «владея миллионами, вечно сидел без денег». Поэтому ничего дурного в покупке Дубровиц Екатерина не нашла. Уже через два дня после посещения имения 25 июня из Коломенского императрица отправила светлейшему князю письмо о своем намерении купить у него имение. «Естьли вы намерены продавать, то покупщик я верный, а имя в купчую внесем Александра Матвеевича», — писала она.
Идея Потемкину не понравилась. Но и прямо сказать об этом императрице он не мог: она столько раз выручала его деньгами, делала так много бесценных подарков, и отказать ей сейчас в пустяковой просьбе, значило обидеть ее. Он велел своему управляющему в Петербурге М. А. Гарновскому затягивать дело. И тут Оттоманская Порта разорвала мир. Для Потемкина Дубровицы сразу отодвинулись на задний план.
Обострение политической обстановки усилили роль Мамонова при дворе, императрица делилась с ним многими секретными сведениями, допустила к ознакомлению с донесениями с театра военных действий, расширила доступ к своей личной переписке. Это льстило честолюбию фаворита, но даже возбуждение крупной политической игры не затмевало в его глазах тихих радостей стяжательства. «Александру Матвеевичу приятно чтение реляций, но еще приятнее дела дубровицкие», — не без сарказма замечал Гарновский в письме В. С. Попову, начальнику канцелярии светлейшего князя. А ведь донесения начала войны были безрадостны. Первые неудачи, отход вглубь территории, страшное известие о том, что многодневной бурей уничтожен Черноморский флот, вышедший в море на поиски противника… Без флота не только невозможно было штурмовать Очаков, но и защищать Крым. До Дубровиц ли? Занятый и измученный Потемкин, наконец, сдался. Просто отмахнулся. Да и не нужны они ему уже были, Дубровицы, без флота, без Тавриды…
В конце концов и флот, как оказалось, не погиб, а только был сильно поврежден, и Крым удалось отстоять, но Дубровицы уплыли в чужие руки. В сентябре 1787 г. в самый разгар трудностей на театре военных действий сделка была завершена.
Находившийся в Москве отец фаворита сам следил за всеми мелочами сделки и проявил при этом редкую скаредность. Московскому и дубровицкому управляющим Потемкина (а люди это были оборотистые) не удалось забрать из имения даже фарфорового сервиза и серебряных ложек. Мамонов явно находился в силе. Он все еще поддерживал при дворе партию светлейшего князя, но заставлял за это дорого платить. Кто бы мог тогда подумать, что великолепный подмосковный дворец понадобится Александру Матвеевичу так скоро.
Уже с середины 1787 г. Гарновский доносил на юг начальству, что «паренек скучает». Фаворит сравнивал свое житье с золотой клеткой. В 1796 г. Державин написал стихотворение «Птичка»: «Поймали птичку голосисту / И ну сжимать ее рукой. / Пищит малютка вместо свисту, / А ей твердят: пой, птичка, пой.» Эти строки как нельзя лучше подходят для характеристики душевного состояния Александра Матвеевича этого времени. Во дворце Мамонов обратил внимание на молодую фрейлину императрицы Дарью Федоровну Щербатову, дочь генерал-поручика Ф. Ф. Щербатова.
Запретное чувство оказалось для обоих настолько притягательным, что они начали украдкой встречаться в доме своих общих друзей Рибопьеров. Риск только поджигал слабый огонек взаимной склонности, и вскоре желание быть рядом с любимой, как тогда казалось Мамонову, женщиной стало для фаворита наваждением. Он тайком посылал ей фрукты с императорского стола, совершал тысячи опасных поступков, которые могли выдать обоих с головой. Так продолжалось около полутора лет. Мамонов полагал, что со временем императрица сама оставит его, и тогда он сможет жениться. Его деловые качества, а также большая осведомленность в самых секретных вопросах тогдашней политики позволяли ему надеяться, что и после отставки с поста фаворита он останется на службе. Но судьба распорядилась иначе.