После возвращения Гоголя из-за границы стали портиться его отношения с людьми из окружения А. В своих мемуарах А. свидетельствует: "В конце 1841 и в начале 1842 года начали возникать неудовольствия между Гоголем и Погодиным (у которого Гоголь жил. - Б. С.). Гоголь молчал, но казался расстроенным; а Погодин начал сильно жаловаться на Гоголя: на его капризность, скрытность, неискренность, даже ложь, холодность и невнимание к хозяевам, т. е. к нему, к его жене, к матери и теще, которые будто бы ничем не могли ему угодить. Я должен признаться, к сожалению, что жалобы и обвинения Погодина казались так правдоподобными, что сильно смущали мое семейство и отчасти меня самого, а также и Шевырева. Я, однако, объясняя себе поступки Гоголя его природною скрытностью и замкнутостью, его правилами, принятыми с издетства, что иногда должно не только не говорить настоящей правды людям, но и выдумывать всякий вздор для скрытия истины, я старался успокоить других моими объяснениями. Я приписывал скрытность и даже какую-нибудь пустую ложь, которую употреблял иногда Гоголь, когда его уличали в неискренности, единственно странности его характера и его рассеянности. Будучи погружен в совсем другие мысли, разбуженный как будто от сна, он иногда сам не знал, что отвечает и что говорит, лишь бы только отделаться от докучного вопроса; данный таким образом ответ невпопад надобно было впоследствии поддержать или оправдать, из чего иногда выходило целое сплетение разных мелких неправд. Впрочем, я должен сказать, что странности Гоголя иногда были необъяснимы и остались навсегда для меня загадками. Мне нередко приходилось объяснять самому себе поступки Гоголя точно так, как я объяснял их другим, т. е. что мы не можем судить Гоголя по себе, даже не можем понимать его впечатлений, потому-то, вероятно, весь организм его устроен как-нибудь иначе, чем у нас; что нервы его, может быть, во сто раз тоньше наших: слышат то, чего мы не слышим, и содрогаются от причин, для нас неизвестных. На такое объяснение Погодин с злобным смехом отвечал: "разве что так". Я тогда еще не вполне понимал Погодина и потому не догадывался, что главнейшею причиною его неудовольствия было то, что Гоголь ничего не давал ему в журнал, чего он постоянно и грубо требовал, несмотря на все письма Гоголя. После объяснилось, что Погодин пилил, мучил Гоголя не только словами, но даже записками, требуя статей себе в журнал и укоряя его в неблагодарности, которые посылал ежедневно к нему снизу наверх. Такая жизнь сделалась мучением для Гоголя и была единственною причиною скорого отъезда его за границу. Теперь для меня ясно, что грубая, черствая, топорная натура Погодина не могла иначе поступить с натурою Гоголя, самою поэтическою, восприимчивою и по преимуществу нежною. Погодин сделал много добра Гоголю, хлопотал за него горячо всегда и везде, передавал ему много денег (не имея почти никакого состояния и имея на руках большое семейство), содержал его с сестрами и с матерью у себя в доме и по всему этому считал, что он имеет полное право распоряжаться в свою пользу талантом Гоголя и заставлять его писать в издаваемый им журнал. Погодин всегда имел добрые порывы и был способен сделать добро даже и такому человеку, который не мог заплатить ему тем же; но как скоро ему казалось, что одолженный им человек может его отблагодарить, то он уже приступал к нему без всяких церемоний, брал его за ворот и говорил: "я тебе помог в нужде, а теперь ты на меня работай". Докуки Погодина увенчались, однако, успехом. Гоголь дал ему в журнал большую статью под названием "Рим", которая была напечатана в № 3 "Москвитянина". Он прочел ее в начале февраля предварительно у нас, а потом на литературном вечере у князя Дм. Вл. Голицына (московского генерал-губернатора. - Б. С.) (у Гоголя не было фрака, и он надел фрак Константина.). Несмотря на высокие достоинства этой пиесы, слишком длинной для чтения на рауте у какого бы то ни было генерал-губернатора, чтение почти усыпило половину зрителей; но когда к концу пиесы дело дошло до комических разговоров итальянских женщин между собою и с своими мужьями, все общество точно проснулось и пришло в неописанный восторг, который и остался надолго в благодарной памяти слушателей. Многие дамы, незнакомые лично с Гоголем, но знакомые с нами, желали его видеть; но Гоголя трудно было уговорить придти в гостиную, когда там сидела незнакомая ему дама. Одна из них желала особенно познакомиться с Гоголем, а потому Вера и Константин так пристали с просьбами к Гоголю, что каким-то чудом уговорили его войти в гостиную. Это точно стоило больших трудов Константину и Вере. Они приставали к нему всячески, убеждали его; он отделывался разными уловками: то заговаривал о другом, то начинал им читать вслух что-нибудь из "Московских ведомостей" и т. д. Наконец, видя, что он уступает, Константин громко возвестил его в гостиной, так что ему уж нельзя было не пойти, и он вошел; но дама не сумела сказать ему ни слова, и он, оставшись несколько минут, ушел. Константин проводил его и благодарил, но он был не совсем доволен, и на вопрос Константина, как он нашел эту даму, он сказал, что не может судить о ней, потому что не слыхал от нее ни слова, "а вы мне сказали, что она желает со мною познакомиться".
А. признался в мемуарах, что "у нас не было полной доверенности к Гоголю. Скрытность его характера, неожиданный отъезд из Москвы (23 мая 1842 г., в Петербург. - Б. С.), без предварительного совета с нами, печатанье своих сочинений в Петербурге, поручение такого важного дела человеку совершенно неопытному (Н. Я. Прокоповичу. - Б. С.), тогда как Шевырев соединял в себя все условия, нужные для издателя, не говоря уже о горячей и преданной дружбе; наконец, свидание Гоголя в Петербурге с людьми нам противными, о которых он думал одинаково с нами (как-то с Белинским, Полевым и Краевским), все это вместе поселило некоторое недоверие даже в Шевыреве и во мне; Погодин же видел во всем этом только доказательство своему убеждению, что Гоголь человек неискренний, что ему верить нельзя. Мы с Шевыревым не принимали такого убеждения, особенно я. Я объяснял поступки Гоголя странностью, капризностью его художнической натуры; а чего не мог объяснить, о том старался забыть, не толкуя в дурную сторону".
3 июля 1842 г. А. извещал Гоголя о том, как москвичи отзываются о "Мертвых душах": "...Я обещал вам записывать разные толки о Чичикове - я сделал это, сколько мог успеть... Вот они: выписываю их с дипломатическою точностью. С. В. Перфильев (Сергей Васильевич Перфильев (1796-1878), жандармский генерал, впоследствии начальник 2-го корпуса жандармов, объединявшего жандармские части Московского округа. - Б. С.) сказал мне: "Не смею говорить утвердительно, но признаюсь: "Мертвые Души" мне не так нравятся, как я ожидал. Даже как-то скучно читать; всё одно и то же, натянуто - видно желание перейти в русские писатели; употребление руссицизмов вставочное не выливается из характера лица, которое их говорит". Он прочел залпом в один день. Я просил его через несколько времени прочесть в другой раз и не искать анекдота. Он хотел прочесть три раза. Уходя, он прибавил, что сальности в прежних сочинениях, даже в "Ревизоре", его не оскорбляли; но что здесь они оскорбительны, потому что как будто нарочно вставляются автором. Н. И. Васьков говорил, "что состав губернского общества не верен (как и в "Ревизоре", где пропущены: стряпчий, казначей и исправник); что председателей двое; что полицеймейстер лицо ничтожное в губернском городе; что, представив сначала всё в дрянном и смешном виде, странно сделать такое горячее обращение к России; что часто шутки автора плоски, неблагопристойны, и что порядочной женщине нельзя читать всю книгу". Наконец, нашелся один, который обиделся следующими словами: "Посмотрим, что делает наш приятель?" И кто же этот приятель?.. Селифан или половой!.. Что же они мне за приятели?.. Не сочтите за выдумку последнего выражения; всё правда до последней буквы. Есть, впрочем, обвинения и справедливые. Я очень браню себя, что одно просмотрел, а на другое мало настаивал: крестьяне на вывод продаются с семействами, а Чичиков отказался от женского пола; без доверенности, выданной в присутственном месте, нельзя продать чужих крестьян, да и председатель не может быть в одно и то же время и доверенным лицом и присутствующим по этому делу. Несмотря на лето, "Мертвые Души" расходятся очень живо и в Москве, и в Петербурге..."