Троцкий где-то в глубине души уже поставил, если так можно упрощенно сказать, "крест" на Ленине. Он не верил в его возвращение в активную политику. Не случайно Троцкий весьма скептически относился к попыткам тяжелобольного Ленина адресоваться к партии через печать.
Поддерживая ровные, добрые отношения с Лениным, Троцкий порой чувствовал, что его прошлое совсем не забыто и в любую минуту может быть использовано против него как разящий аргумент. Не случайно, что и Ленин в своем "Завещании" счел нужным упомянуть о былом "не— большевизме" Троцкого, хотя и в контексте необвинительном. Была политическая близость, но дружбы не было… Седова не встречалась с Крупской, не было привычки бывать друг у друга дома. А Каменев, Зиновьев, Бухарин, Сталин у Ленина в его квартире бывали. Троцкого не тянуло к постели немого и угасающего вождя. Он бывал там реже других. Да и то до последнего удара. Председатель Реввоенсовета проявлял подчеркнутую независимость. Он хуже других знал дорогу в Горки. Сохранилась записка Ленина Троцкому с советами, как к нему приехать в загородный особняк. "По Серпуховскому шоссе около 20–23 верст. Проехав железнодорожный мост, затем второе, — взять первый поворот налево (тоже по шоссе, но небольшому, узкому) и доехав до деревни Горки (бывшее имение Рейнбота). Всего от Москвы верст около 40". Троцкий синим карандашом заметил на записке: "Проверить". Похоже, Троцкому судьба Ленина была ясна раньше, чем другим.
Можно сказать, что где-то на втором плане (может быть, и подсознательно) у Ленина к Троцкому сохранялся элемент недоверия. Об этом свидетельствуют и некоторые факты, неизвестные доселе.
В ряде личных записок Ленина Каменеву, Зиновьеву, Сталину указывается на необходимость совместного "давления" на Троцкого в целях изменения его позиции, взглядов, подходов.
В записке от 14 марта 1921 года к Каменеву Ленин предлагает ему выступить в прениях на съезде и указать Троцкому на его ошибку: "Скажите Вы (я забыл), что подход Троцкого весь неверен, а вот практический опыт (вы за это-де, и это пройдет-де, по иному пункту) покажет Троцкому его ошибку. Ленин уклоняется лично сказать об "ошибке" Троцкому, а предлагает сделать это Каменеву публично… При обсуждении вопроса на Политбюро (не ясно какого) Ленин вновь пишет Каменеву: "Игнорируйте Калинина, оставьте его мне. Возьмите целиком Троцкого". При внешней загадочности записки видна та же линия "влияния" на Троцкого, и вновь "дело" поручается Каменеву…
Троцкий, загруженный до предела множеством поручений и должностей, узнает, что Политбюро хочет поручить ему проверить и Гохран. Троцкий отказывается, приводит аргументы, ссылается на исключительную загруженность, пишет объяснение в Политбюро. Ленин реагирует таким образом: "Письмо Троцкого неясно. Если он отказывается, нужно решение Политбюро. Я за непринятие отставки (от этого дела Троцкого)". И вновь Ленин не объясняется с Троцким лично, предпочитая привлекать для "образумливают" непослушного Троцкого других членов партийной коллегии.
В июле 1922 года Ленин, выздоравливая в Горках, пишет записку Сталину с просьбой высказать свое и Каменева мнение в отношении Троцкого. Не ясно, о чем идет речь, но видно, что вырабатывается линия по какому-то вопросу по крайней мере троих: Ленина, Сталина, Каменева в противовес Троцкому или о нем. И вновь о Троцком, за спиной у Троцкого… Возможно, инициатором обсуждений позиции или поведения Троцкого являлся Сталин, а остальные члены Политбюро, опасаясь чрезмерного усиления веса Председателя Реввоенсовета, "подыгрывали" ему. Вероятно, дело доходило до радикальных предложений, возможно, вплоть до освобождения Троцкого от должности или должностей. Об этом, в частности, свидетельствует ленинская записка Каменеву.
"…Я думаю, преувеличений удастся избегнуть., Закидывает (ЦК) или готов выкинуть здоровую пушку за борт", — Вы пишете. Разве это не безмерное преувеличение? Выкидывать за борт Троцкого — ведь на это Вы намекаете, иначе нельзя толковать — верх нелепости. Если Вы не считаете меня оглупевшим до безнадежности, то как Вы можете это думать???? Мальчики кровавые в глазах…"