Но в качестве деятеля Иностранной коллегии Голицын слишком мало устраивал Екатерину. Английский посланник замечает по этому поводу, что князь «скорее путал, чем помогал, даже в тех безделицах, до которых его допускали». В 1755 году дело доходит до почетной отставки: должность вице-канцлера заменяется для Голицына пожалованием в обер-камергеры, а спустя еще три года недовольный сложившейся обстановкой князь переезжает в Москву и оставляет службу. Он уже давно предпочитал придворным обязанностям благотворительную деятельность. В Москве помимо строительства Голицынской (Градской) больницы Голицын отдается заботам о Воспитательном доме.
Не несущий подписи художника и помеченный только на обороте именем Левицкого и датой — 1772 годом, портрет А. М. Голицына вызывал у некоторых биографов предположения о более раннем его происхождении. Описка Ж. Жакобе, гравировавшего портрет годом позже в Вене (1762-го вместо 1772 года), дала для этого формальные основания. Представлялось слишком соблазнительным увидеть в портрете дипломата одно из первых полотен Левицкого. Однако это невозможно и по стилистическим особенностям портрета и по ряду других объективных причин.
Прежде всего А. М. Голицын вернулся в Россию в первых числах июня 1762 года. Переворот в пользу Екатерины произошел в конце того же месяца, а уже в середине июля Левицкий вместе с Антроповым уехал в Москву. Практически не оставалось времени для написания портрета, если бы даже известный всей Европе красавец и щеголь князь пожелал быть изображенным безвестным подмастерьем. Этого времени ему бы не хватило даже на самое беглое знакомство с художественной жизнью Петербурга, не говоря о поисках некоего неоткрытого таланта. А. М. Голицын хорошо разбирается в живописи, со временем составит первоклассное ее собрание, завещанное Голицынской больнице, но никогда не будет выступать в роли первооткрывателя художников.
Спустя четыре года по приезде князя его портрет с оригинала Эриксена напишет Антропов, только что восстановленный в должности синодального художника. Но Антропов уже успел к этому времени написать лучшие свои холсты. У него вполне определившаяся известность портретиста. В 1788 году Голицын закажет свой портрет И. Барду, немецкому пастелисту, приобретшему шумную известность при дворе Станислава-Августа Понятовского и только что написавшего портреты Екатерины и ее очередного фаворита Ланского. Левицкий до своих московских работ и знакомств рассчитывать на внимание вице-канцлера вряд ли мог.
И другое. Изображенный на портрете Голицына орден Андрея Первозванного был получен князем только в начале семидесятых годов. Если даже предположить, что орденский знак и лента были дописаны со временем, как то часто делалось на портретах XVIII века, о более позднем времени появления холста свидетельствует изображенный на заднем плане бюст Екатерины. В первые недели и даже месяцы после дворцового переворота такой бюст нельзя было успеть выполнить. Но главное Екатерина представлена в нем пожилой, с двойным подбородком, начинающими обвисать щеками, оттянутыми книзу уголками глаз — все признаки не тридцати, а сорока с лишним лет. Эти черты осторожно начинают появляться на портретах Екатерины именно семидесятых годов. Несмотря на восторженные отзывы современников о ее неувядающей свежести, Екатерина сильно постарела именно за первое десятилетие своего царствования. Все это лишний раз подтверждает принадлежность портрета А. М. Голицына к серии опекунов и, значит, к первым академическим годам Левицкого.
Левицкий повторяет здесь композиционную схему портретов, показанных на выставке 1770 года. Голицын представлен стоящим у заваленного бумагами стола, за которым на высокой консоли помещен бюст Екатерины. Он обращен к зрителям в трехчетвертном повороте, непринужденным жестом показывая на плоды своих трудов. Но по сравнению с аналогичными по композиции портретами Кокоринова и Строганова Голицын кажется более скованным, менее выразительно его словно застывшее в маске любезного безразличия лицо. Неудача художника? Скорее, условия написания портрета.