Но, несмотря на все это, окружение Нерона Цезаря, то ли по наущению Сеяна, то ли желая угодить Агриппине и считая, что дни Тиберия сочтены, всячески подталкивало Нерона Цезаря к действиям, которые ухудшали его отношения с Тиберием. Как пишет Корнелий Тацит, «хотя Нерон держался с подобающей юноше скромностью, однако нередко случалось, что он забывал, как нужно себя вести при сложившихся обстоятельствах, ибо его клиенты и вольноотпущенники, стремясь поскорее добиться влияния, всячески внушали ему, что он должен выказывать смелость и независимость: этого хочет римский народ, хочет войско, и Сеян, одинаково издевающийся над терпением старика и робостью юноши, не посмеет воспрепятствовать ему в этом. Несмотря на эти и им подобные речи, Нерон не питал никаких преступных намерений, но иногда у него вырывались слишком дерзкие и необдуманные слова, которые подхватывались приставленными к нему соглядатаями и преувеличивались в их донесениях, тогда как он не имел возможности оправдаться». Со временем Нерон Цезарь попал в опалу, что к 28 году стало ясно уже всем. «Одни старались уклониться от встречи с ним, другие, поздоровавшись, сейчас же отворачивались, многие торопились прервать начатый разговор и покинуть его, тогда как приверженцы Сеяна, напротив, следовали за ним по пятам и оскорбительно подшучивали над ним. Да и Тиберий принимал его, то угрюмо насупившись, то с деланной улыбкою на лице; но говорил ли юноша или молчал, ему вменялось в вину и его безмолвие, и его слова».
Нерон Цезарь нигде не мог найти поддержки. Родной брат Друз Цезарь враждовал с ним, подстрекаемый Сеяном. Брак Нерона Цезаря оказался неудачным: детей у него с женой не было, и отношения супругов становились все более неприязненными. «Даже ночь подстерегала его своими опасностями: о его сне и бодрствовании, о каждом вздохе жена сообщала своей матери Ливии (Ливии Ливилле), а та Сеяну».
В 28 году Тиберий отправил Агриппину Старшую и Нерона Цезаря из Рима в Геркуланум.
Расположенный у живописных берегов Неаполитанского залива Геркуланум был местом отдыха римской знати, однако Агриппина Старшая и Нерон Цезарь были отправлены вовсе не на отдых — Агриппине не разрешено было даже взять с собой своего младшего сына Калигулу, который остался в Риме со своей прабабушкой Ливией (Юлией Августой).
Нерон Цезарь и Агриппина Старшая оставались популярны среди римлян, но это пошло им скорее во вред, чем на пользу. Как пишет Корнелий Тацит, «приставленные к ним воины заносили, словно в дневник, сообщения обо всех гонцах, которые к ним прибывали, обо всех, кто их посещал, обо всем явном и скрытом от постороннего глаза, и более того: к ним подсылались люди, убеждавшие их бежать к войску, стоявшему против германцев, или, обняв на Форуме в наиболее людный час статую божественного Августа, воззвать о помощи к народу и сенату. И хотя эти советы были ими отвергнуты, им, тем не менее, вменялось в вину, что они якобы готовились к осуществлению их». В начале 29 года, в день январских календ (1 января), Тиберий в послании сенату после обычных пожеланий по случаю нового года обвинил в заговоре и подготовке к покушению римского всадника Тития Сабина — одного из последних, кто открыто выражал приверженность Агриппине Старшей и Нерону Цезарю. Сенат тут же осудил Тития Сабина, и он был немедленно казнен, а Тиберий в новом письме поблагодарил сенаторов за то, что те «покарали государственного преступника», и добавил, что над ним самим нависла смертельная угроза из-за козней врагов. Тогда Тиберий еще никого не назвал по имени, но всем было ясно, что он имеет в виду Агриппину Старшую и Нерона Цезаря.
При жизни матери Тиберий воздерживался от расправы над Агриппиной и Нероном Цезарем, но после того, как в 29 году мать Тиберия умерла, он решил с ними покончить. Сразу же после смерти матери Тиберий направил в сенат преднамеренно резкое письмо, где укорял Агриппину Старшую «за надменность и строптивый дух», а Нерона Цезаря «упрекал не в подготовке мятежа и не в стремлении захватить власть, а в любовных отношениях с юношами и в грязном разврате».
Сенат выслушал письмо «в великом страхе и молчании», не зная, что предпринять. Дело в том, что развлечения с мальчиками в среде римской знати хотя и не приветствовались, но считались всего лишь забавной шалостью, если для этого использовались рабы. В домах некоторых знатных римлян специально для этих развлечений иногда держали маленьких мальчиков приятной внешности, именуемых «delicia» — «мальчики для развлечений», причем это не скрывалось и такие мальчики обычно ходили по дому совершенно обнаженными. Однако такие же развлечения с римскими юношами рассматривались как гнусный разврат и тяжелое преступление.