Однако вернемся к обстоятельствам жизни Фонвизина в 1760-е годы. С 1763 по 1769 год он остается секретарем Елагина и за это время покидает столицу трижды. Кроме упомянутого 29-дневного отпуска в 1765 году, Фонвизин живет у родителей в 1767 (в это время в Москве работает Уложенная комиссия, и молодой секретарь находится при сопровождавшем императрицу Елагине) и 1769 (когда он получает полугодовой отпуск, из которого так не хочет возвращаться в Петербург, и встречает свою самую большую любовь) годах. Живя в Петербурге, Фонвизин регулярно видится с дядей и вместе с прибывшими братьями проводит время в семейном кругу. «На Петровском острову был я в субботу с братьями, — рассказывает почтительный сын „милостивому государю батюшке и милостивой государыне матушке“ в одном из писем лета 1768 года, — нас всех взял с собою дядюшка; он со всею фамилиею туда ездить изволил. Обедали мы у Резвова, катались на шлюпке, качались, играли в фортуну и время свое довольно весело проводили. Каждый день бываю у дядюшки, да и нельзя иначе. Он нас жалует, да близость места не допускает нас долго быть розно. Мы живем почти друг против друга». Службой же у Елагина Фонвизин остается недоволен, а его отношения с патроном продолжают складываться очень и очень не просто. Если летом 1766 года Фонвизин рассказывает родителям о своей любви к «командиру», который наконец-то перестал заблуждаться на счет Лукина, и весьма эмоционально клянется почитать этого «благородного и честного человека» даже в случае, если их пути разойдутся и Фонвизину придется оставить это место, то осенью 1768 года он говорит о твердом намерении уйти в отставку и через несколько лет начать служить снова, но уже под началом не такого «урода», как Елагин. Как же случилось, что за два года достойный почитания «командир» превратился в «урода», почему Фонвизин так эмоционален и на чем основана его неприязнь к вельможе, «имеющему разум, просвещенный знанием», и «доброе сердце»?
Летом 1768 года Кабинет по приему челобитных был передан под начало генерала Степана Федоровича Стрекалова, Фонвизин сдает дела, но по-прежнему находится при Елагине, который становится сенатором и остается «вице-президентом Главной дворцовой канцелярии и при кабинете Ее Величества у собственных дел» и «над спектаклями главным директором». В это время Фонвизин страдает не столько от разлуки с родными, не столько от козней заклятого врага Лукина, сколько от упорного нежелания начальника заняться его делами, добиться производства в чин (в 1768 году он был всего лишь титулярным советником) и повышения жалованья. Работы по службе у Фонвизина немного, но ему приходится ежедневно бывать у ненавистного «командира», и эти визиты становятся для него крайне неприятными и «беспокойными». Сам Елагин, по словам Фонвизина, «держится одною удачею» и поэтому не задумывается ни о чьем благополучии, ни о своем, ни о зависящих от него людей. Фонвизина же Елагин искренне любит, хочет оставить при себе, уверяет его, что отставкой или «переменой места» он непременно себя погубит, но видит в своем секретаре лишь приятного собеседника и сотрапезника. Фонвизин хотел бы служить у другого начальника, но среди них нет никого, кто захотел бы идти на прямой конфликт с властным вельможей («Такая беда моя, — пишет Фонвизин в письме родителям от 11 сентября 1768 года, — что никто прямо от него брать меня не хочет, а на него я никакой надежды не имею»). Попав в столь непростую жизненную ситуацию, не имеющий руководства и покровительства молодой человек «бежит» в отпуск в Москву и «скрывается» в доме родителей.