Обращаясь с такими словами к сенату, Тиберий, наверное, не кривил душой, так как сам был стар, а родные внуки по малолетству не могли бы в случае его смерти наследовать власть. Возможно, Тиберий не кривил душой и тогда, когда сразу после этого стал заявлять о своем намерении отречься от власти, передав ее консулам или кому-либо иному. Тацит считал, что это уже было лицемерием, но возможно, что в тот момент Тиберий действительно подумывал об отречении, а затем передумал и остался. В том же 23 году через некоторое время после смерти Друза Младшего умер от болезни Германик Младший, но эту потерю Тиберий перенес более стойко и разговоров о своем уходе уже не вел.
У Тиберия остался всего лишь один родной внук — Тиберий Гемелл, который в силу малолетства не мог рассматриваться тогда как возможный преемник. В этих условиях Нерон Цезарь и Друз Цезарь стали официальными наследниками Тиберия (их младший брат Калигула был тогда еще слишком мал, чтобы соперничать с ними). Казалось, что вот-вот Нерон Цезарь станет императором (один или вместе с братом как своим соправителем). По словам Тацита, «юноша отличался скромностью и достойной мужа высокого положения внешностью», сенаторы благожелательно воспринимали его речи. Однако у Нерона Цезаря имелись и недоброжелатели, первым из которых и самым могущественным был ближайший помощник Тиберия — префект претория Элий Сеян, сам стремившийся к верховной власти, хотя и умело скрывавший свои намерения. Сеян начал настраивать Друза Цезаря против Нерона Цезаря, «соблазняя его надеждою на принципат», и в то же время настраивал Тиберия против обоих наследников, что облегчалось тем, что Тиберий все чаще ссорился с их матерью — Агриппиной Старшей.
Дупондий Калигулы с изображением его братьев, Нерона Цезаря и Друза Цезаря, казненных во время правления императора Тиберия
Результат этих интриг не замедлил сказаться. Как сообщает Корнелий Тацит, в 24 году «понтифики, а по их примеру и остальные жрецы, вознося молитвы о благополучии принцепса и давая обеты, препоручили попечению тех же богов Нерона и Друза, не столько из любви к этим молодым людям, сколько из лести. Но при порче нравов как отсутствие, так и чрезмерность ее в равной степени опасны. Тиберий, никогда не питавший расположения к семейству Германика, глубоко уязвленный тем, что его, старика, поставили в один ряд с молодыми людьми, вызвал к себе понтификов и спросил их, уступили ли они просьбам Агриппины или ее угрозам. Они отрицали то и другое, но принцепс их побранил, впрочем мягко; ведь значительную их часть составляли его родственники, а другие были виднейшими гражданами государства. Тем не менее он выступил с речью в сенате, в которой предупредил, чтобы впредь никто возданием почестей не распалял честолюбия в восприимчивых душах юношей».
Это показало, что отношения императора и его приемных внуков далеко не так теплы, как некоторым казалось. Тем не менее еще около пяти лет Нерон Цезарь (как и его брат Друз Цезарь) считались наследниками Тиберия и пребывали в почете. Сведений о том периоде времени сохранилось чрезвычайно мало, однако известно, что сыновья Германика избирались на почетные должности в магистратурах ряда городов, а главное, в их честь чеканились монеты, что говорит о признании их статуса наследников самим Тиберием.
Но отношения между семейством Германика и Тиберием с каждым годом ухудшались, начались процессы против явных приверженцев Агриппины, а в 26 году, несмотря на заступничество Агриппины Старшей, была осуждена ее родственница — Клавдия Пульхра. В том же году Тиберий отказал Агриппине Старшей в ее просьбе дать ей разрешение вновь выйти замуж. Просьба эта была естественна и, казалось бы, вполне невинна, но, выйдя замуж за знатного римлянина, Агриппина усилила бы свои возможности в борьбе за власть, поэтому трудно сказать, был ли запрет Тиберия обусловлен семейными соображениями или опасениями возможного противостояния. После этого отношения Тиберия с Агриппиной Старшей еще более обострились, а когда она в том же 26 году на обеде у Тиберия не притронулась к еде, дав повод считать, что опасается отравления, Тиберий прекратил с ней общаться, а затем и вовсе убыл из Рима на остров Капри, поручив текущие дела Элию Сеяну.
Нерон Цезарь и Друз Цезарь были не только сыновьями Агриппины, но и правнуками Ливии (Юлии Августы), матери Тиберия, которая, конечно же, опекала их. Неприязнь между Тиберием и Агриппиной, как уже говорилось выше, не отражалась на карьере ее сыновей. В 26 году, за пять лет до положенного срока, Нерон Цезарь стал квестором. Он был избран жрецом коллегии августалов — жрецов, ответственных за отправление культа божественного Августа, и членом чрезвычайно почетной и уважаемой коллегии арвальских братьев, жрецов, в число обязанностей которых входило официальное объявление войны, а также членом ряда других почетных коллегий.