Мария Алексеевна, лишённая средств к существованию, уехала с дочерью в деревню к своему отцу, чтобы у него поселиться. Но здесь её ожидал новый удар: отец, которому было тогда 60 лет, внезапно умер. Позже она так писала об этом: «Будучи я так нагло покинута с малолетнею дочерью и оставшись без всякого пропитания, принуждена была ехать в деревню к родителю моему, который, увидев меня в таком бедственном состоянии, получил паралич, от которой болезни и скончался…» В течение трёх лет Мария Алексеевна вынуждена была жить с дочерью у родных, главным образом у брата, на правах «бедной родственницы», лишённая, по её словам, «способов не токмо, чтоб дать дочери приличное благородной особе воспитание, но и необходимого к своему содержанию».
Осип Абрамович отправился в Псков. Этот город выбрал он не случайно. Ведь недалеко от Пскова находились родовые ганнибаловские имения. Будучи «из дворян Псковской губернии», он мог рассчитывать получить здесь службу по дворянским выборам. И действительно, вскоре был избран первым заседателем Совестного суда[23] от дворян, а позже советником Псковского наместничества и продолжал служить по выборам почти три с половиной года. В это время некоторую выгоду давала ему и близость отцовских имений. В псковском «благородном обществе» он нашёл друзей и покровителей и сумел зарекомендовать себя с самой лучшей стороны. Вполне положительно характеризовал его псковский наместник Я. Е. Сиверс, человек просвещённый и уважаемый, находивший у первого заседателя Совестного суда «честнейший характер» и «отменные достоинства души».
В 1778 году Осип Абрамович познакомился с жившей в Пскове новоржевской помещицей, вдовой капитана Ивана Толстого Устиньей Ермолаевной Толстой, урождённой Шишкиной, и увлёкся ею. Она со своей стороны проявила большой интерес к ещё не старому, видному отставному моряку-артиллеристу, ценимому в «обществе», да к тому же «имеющему унаследовать» в недалёком будущем солидное состояние. Последнее, может быть, особенно прельщало её. Устинья Ермолаевна принадлежала к мелкопоместным дворянам. Её отец, новоржевский помещик Ермолай Моисеевич Шишкин, владел всего 25 душами. Немногим состоятельнее был и её покойный муж. Судя по тому, что мы о ней знаем, она обладала привлекательной внешностью, была не сильна в грамоте (не могла даже правильно написать свою фамилию), но умна, хитра и энергична, а когда дело касалось кровных её интересов, способна на весьма рискованные поступки, плохо согласуемые с общепринятыми нормами морали. Вдовея уже седьмой год, она искала подходящего жениха, чтобы снова выйти замуж, и выбор её пал на Осипа Абрамовича. О разрыве его с женой она, конечно, знала и настаивала на заключении брака. Хотя Устинья Ермолаевна в дальнейшем постоянно твердила о горячей привязанности и пылкой страсти к своему избраннику, есть основания полагать, что на первом плане стояли трезвый расчёт, материальная заинтересованность.
Намереваясь вступить в брак с Толстой, Осип Абрамович, по его словам, поехал в ноябре 1778 года в Петербург, чтобы исходатайствовать у постоянно жительствующего там псковского архиепископа и члена Священного синода Инокентия утверждение официального развода с Марией Алексеевной, и якобы получил его принципиальное согласие. Оставалось лишь изложить ходатайство в письменном виде.
С этого момента начинаются те необычайные происшествия, о которых Пушкин говорил: «Африканский характер моего деда, пылкие страсти, соединённые с ужасным легкомыслием, вовлекли его в удивительные заблуждения».
На рождественские праздники, как утверждал Осип Абрамович, он отправился в Красное Село к А. О. Мазу и по дороге туда, то ли в пути, то ли на ночлеге, 30 ноября встретил какого-то неизвестного солдата, который вручил ему полученное «из Москвы с почты» запечатанное чёрным сургучом письмо за подписью Михаила Алексеевича Пушкина, извещавшее его о смерти жены. Осип Абрамович не удивился столь неожиданному и при столь странных обстоятельствах полученному письму, не проверил достоверность содержавшегося в нём чрезвычайного сообщения, ничего на письмо не ответил и не проявил никакого интереса к судьбе дочери, находившейся якобы «в известных ему деревнях Воронежской губернии» — имении М. А. Пушкина. Он посчитал, что все сложные проблемы решились сами собой и ему нечего больше беспокоиться о разводе — он вдовец.
Впоследствии Осип Абрамович заявлял о готовности под присягой подтвердить, что не усомнился в подлинности письма. М. А. Пушкин, со своей стороны, готов был присягнуть, что такого письма не писал. Кто из них говорил правду? Похоже, что оба. Ни тот, ни другой не пошёл бы на клятвопреступление. Один проявил удивительное, непостижимое легкомыслие, другой вообще был к этому делу непричастен, что подтвердило и сличение почерков.