В качестве примера добросовестного отношения к своим обязанностям Бестужев привёл покойного кабинет-секретаря Бреверна. Припёртый к стенке тайный советник обиделся и сказал, что если бы у него были силы и лета Бреверна, то и он мог бы так же успешно трудиться. Он же работает в силу своих ума и сил, но если их не хватает, то где же их взять? Если бы их можно было купить или в кузнице сковать, он бы с радостью это сделал. Бестужев, не обращая внимания на издевательский ответ тайного советника, назидательно заметил, что дело тут не в старости, а в прилежании. К тому же в распоряжении тайного советника есть секретари, которым можно приказать сделать всё необходимое.
Судя по всему, взаимопонимания со своими сотрудниками канцлеру достигнуть так и не удалось. Веселовский высказал мнение о том, что в коллегии теперь редко проводятся общие совещания и слушания дел, на которых вырабатываются и согласовываются решения по всем важным делам. В ответ Бестужев сказал, что он отказался присутствовать на этих собраниях, потому что вместо конструктивного обсуждения его предложений получал там одни лишь критические замечания. Эти сидения в коллегии были пустой тратой времени — «…я гораздо больше у себя дома… нужнейших дел исправлять могу».
И перепалка закончилась ничем.
На этой беседе чувствуется незримое присутствие вице-канцлера Воронцова, и Веселовский выступал явно от его имени. Из беседы явствует, что тайный советник ведёт себя в разговоре с канцлером довольно независимо, виноватым себя не чувствует и без всякого стеснения по каждому поводу возражает Бестужеву. Оно и понятно: заменивший Мардефельда Финкенштейн продолжил курс на свержение Бестужева-Рюмина и поддерживал дружбу с «важными и смелыми приятелями», то есть Воронцовым и Лестоком. Вместе они склонили на свою сторону бывшего члена бестужевского кружка и протеже Алексея Петровича тайного советника И. Веселовского, умного, деятельного человека, посвященного во многие тайны канцлера. На этой беседе Веселовский выступал уже клевретом Воронцова.
А когда-то еврей Веселовский имел на Бестужева-Рюмина определённое влияние: он даже уговорил его, тогда вице-канцлера, похлопотать перед Елизаветой Петровной об отмене указа от 13 декабря 1742 года о высылке всех евреев из Малороссии. Хлопоты, правда, ни к чему не привели, императрица указ не отменила, но дружбе Алексея Петровича с Исааком Веселовским это не помешало. И вот теперь Веселовский переметнулся в лагерь его противника…
Конечно, зря Алексей Петрович игнорировал Коллегию и её членов. Тем самым он предоставил в ней Воронцову большую свободу действий. Комментируя эту беседу, Соловьёв пишет, что, конечно же, канцлер сваливал вину с больной головы на здоровую: он сам приучил членов коллегии к бездействию, лично «исправляя все дела» на дому и не предоставляя им никакой инициативы. С этим также трудно не согласиться.
А в отношении бывшего друга Веселовского Бестужев всё-таки попытался отыграться: он написал Елизавете Петровне донос о том, что на одном из дипломатических приёмов Исаак Веселовский отказался пить здоровье государыни: «Один только Веселовский полон пить не хотел, но ложки с полторы и то с водкою токмо налил и в том упрямо пред всеми стоял , хотя канцлер из верности Ея Императорскому Величеству и из стыда перед послами ему по-русски говорил, что он должен сия здравие полным бокалом пить, как верный раб, так и потому, что ему от Е.И.В. много милости показано пожалованием его из малого чина в столь знатный». Но из доноса ничего не вышло: государыня донос проигнорировала и осыпала Исаака Павловича новыми милостями. И это при том, что «жидов» Елизавета Петровна очень не любила.