Дело в том, что нововведения Оленина показались странными Аракчееву, не понимавшему, почему это он не может выучить в Академии своего крепостного на художника или архитектора и использовать его потом, как ему заблагорассудится. В ответе временщику Алексей Николаевич доказывал, как пагубно, с его, просвещенной, точки зрения, смешение свободных учеников Академии «с крепостными людьми, принадлежащими к холопскому званию, столь уничижительному не токмо у нас, но и во всех землях света». Почему же пагубно? Да потому, оказывается, что «истинным, обществу полезным художником, — распространялся новоиспеченный президент Академии художеств (письмо Аракчееву датировано 31 декабря 1817 года), — без доброго поведения, благородного любочестия и некоторой возвышенности духа быть никак не можно. Сообщение же, а кольми паче сожительство с порочными людьми, особливо в самых молодых летах, совершенно подавляют все способности к художествам. По несчастию, — разъяснял Алексей Николаевич Аракчееву, — гнусные самые пороки вообще принадлежат холопскому, или рабскому, состоянию, в котором они получаются, так сказать, в наследство, а потому тесное сообщение сего рода людей и равенство оных в воспитании с юношами свободного состояния более приносят общего вреда, нежели пользы».
Перед такой железной аргументацией закоренелого крепостника, прятавшегося под личиной «просвещенного вельможи», спасовал даже Аракчеев, заявивший Оленину: «…Буди ваша воля, вы, филозофы нынешнего века, лутче знаете нас, псалтырников…»
Для полноты портрета А. Н. Оленина следует, забегая вперед, напомнить о его отношениях с А. С. Пушкиным. Поэт, как известно, был влюблен в дочь Оленина Анету, посвятил ей несколько прекрасных стихотворений. Самой Анете крайне льстило ухаживание Пушкина, первого поэта России. В своих воспоминаниях, говоря о себе в третьем лице, Анна Алексеевна рассказывала о Пушкине, что «знала его, когда была еще ребенком». С тех пор, продолжала Анета, она с восторгом восхищалась его увлекательной поэзией. Но когда поэт, которого Анета называет «самым интересным человеком своего времени», попросил ее руки, президент Академии художеств, действительный тайный советник, член Государственного совета, Председательствующий в департаменте гражданских и духовных дел, член Главного управления цензуры и прочая, и прочая, и прочая, наотрез отказал, считая для дочери брак с гениальным русским поэтом оскорбительным мезальянсом. Алексей Николаевич, которого Пушкин позднее называл «пролаз» и «нулек на ножках», собирая в своем салоне писателей и художников, в глубине души больше всего на свете ценил не таланты, а чины…
Художники его единодушно ненавидели. Да и как было не ненавидеть человека, который с таким слепым упорством проводил принципы сословности художественного образования и, как подчеркивает историк Академии, «особенно… заботился о нравственном воспитании детей и строго следил за точным исполнением религиозных обрядов, а чтение Библии сделал обязательным». Человека, который, к ужасу художников, ввел в Академии вахтпарады. Человека, заслугой которого, по словам его биографа, было то, что он установил «более строгий надзор и наблюдение» за пенсионерами Академии, отправляемыми за границу…
Известно, что Карл Брюллов на товарищеском обеде по случаю окончания учебы в 1821 году провозгласил тост за профессоров Академии, а ее президента предложил предать анафеме. Что Самуил Гальберг говорил: при Оленине Академию «всю хотят переломать и перекрутить, так что сердце вовсе отлегло от Академии, и я ни за что не хотел бы принадлежать ей». Что Федор Толстой, бывший при Оленине вице-президентом Академии, писал о нем: «При всем его образовании, любви к искусству, несмотря на полный авторитет, который он умел приобрести до того, что каждое его слово в высших кругах общества было законом, Оленин своим управлением сделал… более вреда, нежели пользы. Алексей Николаевич был слишком самонадеян в своих познаниях и слишком верил в непогрешимость своих взглядов и убеждений».
Даже апологетически настроенные биографы А. Н. Оленина отмечают, что новый патрон Академии доходил до того, что не гнушался выдавать чужие работы за свои, то есть был способен на прямой плагиат…