Материальные дела актеров Каратыгиных были тяжелыми. Чуть не ежегодно появлялись у них дети, которые вскоре умирали… За шесть лет замужества Александра Дмитриевна потеряла троих детей.
Тяготы обеспечения семьи легли прежде всего на плечи ее главы. Можно было бы, конечно, Андрею Васильевичу обратиться к своей двоюродной сестре Ольге Дмитриевне (или, как ее все называли, Ленушке), которая продолжала жить в доме Безбородко и с каждым днем становилась богаче и влиятельнее. Но Андрей Васильевич с ранних лет, по свидетельству его сына Петра, был «чистый пуританин», «чуждый низкопоклонства и искательства», отличался «строгой безукоризненной нравственностью». Поведение Ленушки в душе осуждал. Принципами своими не поступался. И у Ольги Каратыгиной, ставшей впоследствии женой действительного статского советника Ефремова, за всю жизнь не только ничего не попросил, но даже, если бы она и предложила, никогда бы не взял. Вслух об отношении к ней никогда не говорил. «При необыкновенной честности своей, он, кажется, не имел доверия к людям, и его… нельзя было вызвать на откровенность». Он предпочитал рассчитывать только на свои силы: «Был строг и точен во всех своих делах… У него постоянно была расходная книга, где записывалась каждая истраченная трудовая копейка».
Нрав Андрея Васильевича был не из легких и с каждым днем становился все труднее. Постоянная нужда, второстепенное положение в театре, беспокойство за жену (которую сам он считал гораздо талантливее себя), за детей делали его угрюмым. Аккуратность, доходящая у него до педантизма, вызывала у окружающих раздражение. И лишь мягкий, беззлобный, легко подчиняющийся влиянию мужа характер Александры Дмитриевны сглаживал острые углы.
Андрей Васильевич не отличался общительностью. В те вечера, когда Александра Дмитриевна была свободна от театра, ей приходилось довольствоваться ведением хозяйства. И не без умиления поглядывать на своего мужа, который, со скрупулезной точностью зафиксировав семейные расходы, с не меньшей скрупулезностью записывал в свой дневник подневный репертуар русской драматической труппы.
Театральный журнал Андрей Васильевич начал вести с 1 сентября 1794 года. Позже, при переписке первой тетради, он точно укажет эту дату, отметив четким, не допускающим помарок почерком: «Начало службы и начало глупости вести журнал. А. Каратыгин». Привычку вести подневную запись репертуара не оставит он до самой своей отставки от театра. И до самой смерти Яковлева будет продолжать особо, наряду с ролями Александры Дмитриевны, выделять и роли ее партнера, чем окажет огромную услугу как всему русскому театру, так и биографам актера.
Таким добропорядочным, вызывающим невольное уважение был «счастливый» соперник Яковлева. По своим характерам, эмоциональному складу они были в полном значении этого слова антиподами. Каратыгина не могла не раздражать расточительность, широта, беспорядочная щедрость натуры Яковлева. В то же время Яковлев не мог скрыть легкой усмешки по отношению к бережливости, рациональной аккуратности, сдержанности Каратыгина (о чем несколько позже и намекнул Степану Жихареву). Как не мог скрыть и естественной зависти к тому, кто с полным правом называл своею женой женщину, которую любил он сам.
Когда зародилось его чувство? Стихи, посвященные А. Д. Каратыгиной, по всей видимости, относятся к концу XVIII и к первому десятилетию XIX века. Во всяком случае, последнее из них — «Мрачные мысли», самое значительное по биографическим данным, написано в 1810 году. Именно здесь довольно четко просматривается начало «горького романа» автора.