1755 год застает Козлова все еще в Царском Селе, откуда, судя по поденной росписи, он не смог отлучиться ни на один день. Козлов получает к этому времени значительный по сравнению с другими живописцами оклад — восемь рублей в месяц, что не мешает Канцелярии от строений тщательнейшим образом проверять каждый проработанный день и даже «полудень», чтобы в случае необходимости произвести вычеты. Козлов за все это время «не болел и от работы не отлучался». Его просьба об освобождении из Царского Села — все остальные живописцы уже отпущены — остается неудовлетворенной. Единственное исключение делается по просьбе Д. Валериани, которому Козлов нужен в числе других художников для написания декораций к новой оперной постановке «Александр Македонский» — ею отмечался день восшествия Елизаветы Петровны на престол.
Декорации написаны, премьера прошла, и снова Козлов день за днем проводит на царскосельских работах. Предлагаемые историками искусства версии, что был он при этом учеником А. Перезинотти или и вовсе вместе с Левицким учеником Д. Валериани, одинаково противоречат фактам. Работать под руководством каждого из этих мастеров меньше всего значило быть его учеником. К тому же каждая работа имела своего руководителя, которые бесконечно менялись для художников-исполнителей. К концу 1750-х годов Козлова хорошо знают и все ведущие архитекторы и все живописные мастера. Вслед за А. Перезинотти и Д. Валериани его вызывает Растрелли для живописных работ «при деревянном Зимнем дворце» в октябре 1757 года, до с 17 ноября до 1 января Козлов снова в распоряжении Д. Валериани для писания новых декораций, и так продолжается все время.
Казалось бы, неразличимый в бесконечных списках художников, которых постоянно использовала Канцелярия, не отмеченный ни одним академическим званием, ни успехом на выставке, который привлек внимание к Левицкому, Козлов тем не менее сразу получает приглашение в Академию художеств. В год, когда Левицкий работает над триумфальными воротами, Козлов зачисляется в академический штат адъюнктом, иначе — преподавателем живописи исторической. Еще не разделенный по жанрам живописный класс знал только две специальности — живопись портретную, которую вели Головачевский, Саблуков и Рокотов, и живопись историческую, на преподавание которой и был приглашен Козлов.
В каком бы калейдоскопе ни сменялись приглашавшиеся из Франции профессора этой специальности, практически ведет живопись историческую один Козлов. К тому же 1762 году относится единственная из сохранившихся его масляных работ — картина «Отречение апостола Петра». Среди позднейших очень немногочисленных произведений мастера есть все те виды живописи, которыми так свободно владел вчерашний рядовой художник Канцелярии от строений: акварельный эскиз плафона, выполненная в смешанной графической технике композиция «Христианин, отказывающийся от поклонения статуе Аполлона», рисунок для гравюры, представляющий Екатерину II на коне в виде Минервы, наконец, блестящая по мастерству и непринужденности натурная зарисовка детей художника.
В 1765 году с введением нового устава Академии художеств Козлов вместо звания адъюнкта получает звание академика живописи исторической. С ним заключается контракт на преподавание, чрезвычайно интересный по обстоятельности описания всех прав и обязанностей академического преподавателя. «1765 году августа 26-го дня я нижеподписавшийся обязался с императорской Академией художеств сим контрактом от вышеписанного августа 6-го числа на один год в том, чтоб четыре дни в неделю, а именно: понедельник, вторник, четверг и пятницу по утру с девяти до одиннадцати часов пред полуднем быть в академических классах для поправления в рисунках, колерах и композиции с изъяснением всего, что к знанию художника нужно; по полудни же в помянутые дни от четырех до шести часов то же делать в классах рисования с гипсов и натуры. Если же по каковому случаю Академия заблагорассудит, то мне становить гипс и модель в натурном классе — а как нужно смотреть в обучении рисования воспитанников за определенными мастерами в воспитательном училище, то в пятницу поутру вместо академических классов в Академии, так и в воспитательном училище без ведома профессорского во всем точно их правилам и предписанию с крайним усердием и ревностью в силу данного мне предписания; середа суббота воскресенье и все свободные от классов дни дозволить мне для моего упражнения…».
Испытательный срок оказывается для Козлова настолько удачным, что спустя год он производится в адъюнкт-профессоры живописного художества. В этом академическом ранге и напишет его вместе с женой Левицкий, получивший за портреты Козловых в 1769 году звание назначенного.