Ссылка Лабзина, формально вызванная непочтительным отзывом об очередном кандидате в почетные вольные общники — если выбирать по принципу близости к его императорскому величеству, то надо начинать с царского кучера, — в действительности означала запрет на всякое проявление «мартинистских» увлечений. Какими бы ни представлялись к этому времени отношения Левицкого с Лабзиным, всякое обращение официальных кругов к живописцу было отныне предрешено. Тень «подозрительности» становилась клеймом отвержения.
Молчали академические отчеты, молчали «независимые» критики, но мастер жил и продолжал работать — это безоговорочно признавали его первые биографы. В споре с ними последующих историков основным камнем преткновения становился подписной и датированный 1818 годом портрет Николая Адриановича Грибовского. Версия некого «П. Левицкого» выдвигалась в отношении портрета из Познани. Она появилась еще раньше в отношении портрета Н. А. Грибовского. В последнем варианте эта версия основывалась на письме полтавского губернского прокурора Грибовского к местному же генерал-губернатору Репнину о приезде в Полтаву портретиста Левицкого, берущего за портрет по сто рублей ассигнациями. Именно этому безвестному и со «сходным» гонораром художнику и приписывался принятый Дягилевым, Грабарем, Скворцовым портрет, который тем самым становился портретом или самого губернского прокурора, или кого-то из членов его семьи.
Художник Левицкий — не Дмитрий! — в эти годы действительно существовал и подвизался на Украине. Подписанные полным его именем — Петр Левицкий — портреты дошли до наших дней: датированный 1820 годом портрет генерал-губернатора Малороссии Н. Г. Репнина, находившийся до последнего времени в городе Лебедине, и датированный 1826 годом портрет Г. П. Митусова в собрании Русского музея. По профессиональному уровню они несопоставимы с портретом Грибовского — здесь повторяется история с упорно приписывавшимся Ивану Никитину «Древом государства Российского», беспомощной ремесленной поделкой его московского тезки и однофамильца. Не менее существенно и свидетельство современных источников.
Знакомство Левицкого с семьей Грибовских, точнее, с его главой Адрианом Моисеевичем, относится еще к восьмидесятым годам XVIII века. Выходец из Малороссии, студент Московского университета, тот обратил на себя внимание Державина своими переводами, легкими, непринужденными, отмеченными тонким чувством языка, — в 1784 году в Петербурге выходит в его переводе идиллическая повесть Д’Арно «Опасности городской жизни». Назначенный в Петрозаводск, Державин забирает вчерашнего студента с собой, но здесь слишком быстро раскрывается другая сторона натуры Грибовского. Азартный игрок, он проигрывает казенные деньги, чтобы выйти из положения, находит себе нового покровителя в лице Потемкина, необъяснимым вольтом переходит затем из походной канцелярии «светлейшего» к его злейшему врагу фавориту Зубову и с помощью последнего занимает место статс-секретаря Екатерины вместо окончательно отошедшего от двора Державина.
Грибовский едва успевает заявить о себе в столице неслыханной даже для екатерининских времен роскошью, мотовством, оркестром, куда собирает лучших музыкантов и где сам неплохо играет на скрипке Страдивариуса — предмет его невероятной гордости, как наступает расплата. С приходом к власти Павла он лишается всех должностей, высылается из Петербурга, а через несколько месяцев оказывается под следствием в Петропавловской крепости по обвинению в краже картин и имущества из Таврического дворца и к тому же в переселении казенных крестьян на свои земли. Огромный выкуп, ценой которого Грибовский возвращает себе свободу, еще не может разорить его. Но через год он оказывается на этот раз в Шлиссельбургской крепости по обвинению в продаже в Малороссии казенных земель.
Обвинения в полной мере оправдываются, но вступление на престол Александра I приносит Грибовскому прекращение следствия. Свобода не означает в этих условиях оправдания. Путь на государственную службу для него закрыт. Грибовский переезжает в Москву, и здесь, проматывая остатки былого состояния, примыкает к «мартинистам» — фрондерство, в котором находят выход его личные разочарования. После событий 1812 года он вынужден и вовсе скрыться в единственном сохранившемся от распродажи имений селе Щурове под Коломной, но и живя там, объявить себя в 1817 году банкротом. Впрочем, в этом последнем шаге кредиторы усматривают способ избавиться от нарастающих долгов. Грибовскому до конца своих дней приходится судиться, защищаясь от обвинения в так называемом злостном банкротстве. Незадолго до смерти бывший статс-секретарь напишет свои воспоминания о Екатерине, естественно, очень приблизительные по сообщаемым в них фактам, — ничья память не способна выдержать тридцатилетнего разрыва во времени, — и позаботится оставить потомству свой портрет кисти модного миниатюриста двадцатых годов XIX века Фюгера.