Следующим претендентом на руку Аннеты явился Николай Иванович Гнедич, который, убедившись в безнадежности страсти к Катеньке Семеновой, сделал официальное предложение золотокудрой пастушке. Но Аннета отказала и новому искателю. Ее пугали изуродованное лицо и суровая важность переводчика «Илиады». Прельстился прекрасной пастушкой и Иван Андреевич. Он стал тщательнее бриться, причесываться, сделался разговорчивее и любезнее. Всегда небрежно одетый, он приоделся, завел тонкое белье из голландского полотна. Иван Андреевич, однако, скоро понял, что и ему не улыбнется счастье у прекрасной пастушки. Анкета была к нему внимательна и благосклонна; он шутил с ней, как с ребенком, приносил сладости. Она дарила его дружбой, но баснописец был более чем вдвое старше, и она не захотела связать с ним свою судьбу.
В 1820 году старый Фурман вызвал дочь в Дерпт, где в это время проживал, для того, чтобы она воспитывала его младших детей. Это был удар и для Аннеты и для Ивана Андреевича. Аннета давно отвыкла от отца. Да и участь воспитательницы своих сводных сестер не была заманчивой. Уезжала она со слезами. Через год старый Фурман перебрался в Ревель. Жизнь Аннеты у отца оказалась настолько печальной, что она приняла, хотя и без особенной радости, предложение состоятельного местного коммерсанта Оома и вышла за него замуж. К несчастью, господин Оом вскоре же после брака разорился, и бедной Аннете пришлось пожертвовать скромным приданым для удовлетворения ненасытных кредиторов.
Иван Андреевич вместе с А. Н. Олениным приезжал в 1824 году в Ревель и навестил бедняжку. Это было его первым и последним путешествием. Труд но ему оказалось расстаться с установившимися привычками, ехать на пироскафе, переносить дорожные неудобства и качку.
Аннета с мужем перебралась снова в Петербург под покровительство Олениных. Бремя семьи теперь пало на ее нежные плечи. Оома Алексей Николаевич устроил на службу в Академию художеств, а Аннета давала уроки русского языка в немецком пансионе госпожи Гельмерсен. Но во время наводнения 1824 года вода залила их квартиру, и господин Оом простудился и вскоре умер. Аннету — теперь ее называли Анной Федоровной — устроили воспитательницей в Сиротском институте. Ее достоинства были оценены императрицей Марией Федоровной: госпожу Оом назначили директрисой института и дали ей там небольшую квартирку. Иван Андреевич остался по-прежнему предан прекрасной пастушке. Он навещал ее на новой квартире, даже подарил мебель красного дерева для убранства гостиной.
Незадолго до смерти неудачливого господина Оома Анна Федоровна родила сына, крестным отцом его стал Иван Андреевич. Крылов нередко просиживал вечера в ее уютной гостиной с огромными изразцовыми печами, сложенными еще при императрице Елизавете Петровне. Анна Федоровна занималась рукоделием, в котором была великая искусница, а Иван Андреевич играл с маленьким крестником.
Дома неуютная, вечно неприбранная квартира, неряшливая, надутая Феничка. На службе в библиотеке жизнь неподвижная, словно застывшая в больших прохладных залах между огромными шкафами с тысячами книг. Милая суматоха, привычный покой и веселая болтовня в доме Олениных. Но ему хотелось другого: сердечного тепла, женского обаяния, внимательно-ласкового взгляда, неуловимого пожатия руки. У Анны Федоровны были по-прежнему золотые волосы и небесно-голубые глаза, но она стала озабоченной, одевалась в темно-серые платья строгого фасона, всегда куда-то спешила, или ее вызывали по делу. Он любил смотреть, как в свободные часы ловко и быстро двигались ее изящные, словно выточенные пальцы, вышивая цветистые шелковые узоры, как отсвечивали на солнце ее волосы.
Потом он долго прощался, задерживая маленькую тонкую ручку в своей тяжелой, мясистой ладони. Медленно спускался по лестнице и задумчиво шагал грузными ногами на стрелку Васильевского острова. Если по дороге нагонял извозчик, он его подзывал, долго с ним торговался, давая двугривенный вместо испрашиваемых тридцати копеек, и, не сторговавшись, продолжал путь пешком. У величественного здания Биржи, напоминавшего античный Форум, Иван Андреевич встречал знакомых, любителей полакомиться заморскими устрицами, которые привозили сюда купеческие суда. На стрелке шла бойкая торговля привозными товарами, сновали английские, голландские, французские моряки и купцы. Тут же открывали бочки со свежими устрицами и пенящимся черным английским портером. Иван Андреевич с аппетитом проглатывал несколько десятков холодных, скользящих устриц, запивая их портером из большой глиняной кружки. Узнавал от знакомых новости, а затем, так же не спеша, направлялся домой, к библиотеке через Адмиралтейский мост по Невскому проспекту. Дома он облачался в старый, засаленный халат и ложился на продавленный диван подремать часок-другой.