Очень скоро и Семпроний Гракх жестоко поплатился за свою страсть к августейшей особе. За любовные похождения с его дочерью Август сослал незадачливого любовника на остров Керкиру в Адриатическом море, где он прожил в изгнании 14 лет, а затем был умерщвлен по приказу Тиберия.
Отношения между отцом и дочерью были испорчены окончательно. Юлия не могла простить Августу свои браки, которые всегда совершались против ее воли. Этот протест выражался в ее дерзком, вызывающем поведении. Публичные оргии, устраиваемые ею на форуме, многочисленные любовники, самый дикий разгул и необузданность вызывали в Риме массу сплетен и кривотолков, что наносило авторитету Августа огромный урон.
Доведенный до отчаяния, отец расторг брак Юлии с Тиберием и сослал свою распутную дочь на остров Пандатерию в Тирренском море. В ссылку Юлию сопровождала ее мать Скрибония. Наказание было поистине суровым. Дочь лишалась ежегодного содержания. Тацит отмечал, что «ссыльную, обесславленную, лишенную всякой надежды дочь Август довел до смерти лишениями и медленным истощением, полагая, что за долговременностью ссылки смерть эта останется незамеченной». Император запретил ссыльной Юлии давать вино и лишил ее малейших удобств. К ней без его ведома не допускались ни рабы, ни свободные. Ему с точностью доносили, кто жаждет встречи с Юлией, какого он возраста, роста и даже какие у него телесные приметы. Только после пятилетней ссылки Август разрешил перевеете Юлию на материк и немного смягчил условия ссылки. О прощении не было и речи. Как-то, узнав, что одна из соучастниц оргий дочери — вольноотпущенница Феба покончила жизнь самоубийством, Август воскликнул: «О, если бы у меня была дочь Феба, а не Юлия». Юлия Старшая умерла вскоре после смерти отца в 14 году.
Тяжкое наказание понесли и все любовники Юлии. Юл Антоний, самый молодой из них, за нанесение оскорбления дому императора был казнен. Римские аристократы Семпроний Гракх, Клавдий Пульхр и Корнелий Сципион были сосланы на острова.
Жестоко наказывая нарушителей законов о семье и браке, Август, по всей вероятности, был вынужден под давлением общественного мнения применить эти законы и к своей дочери и тем самым наказать аристократию, представительницей которой была Юлия. После расправы с дочерью императору предоставился удобный случай убрать аристократов, пренебрегающих законами. Недовольство дочерью было усугублено и поведением внучки, Юлии Младшей, — дочери Юлии Старшей и Агриппы. Юлия Младшая, по всей вероятности, унаследовала худшие черты своей матери. Обладая неистовым темпераментом и неприкрытым бесстыдством, она, подобно своей матери, устраивала дикие оргии, сменяя любовников, ища необузданных утех в распутстве. Август к внучке тоже принял самые суровые меры, сослав ее на остров Тример в Адриатическом море. Там она, как сообщает Тацит, провела 20 лет в изгнании. Император всячески старался стереть память о дочери и внучке. По свидетельству Светония, Август не признал родившегося у Юлии Младшей после ее осуждения ребенка, а дворец внучки, стоивший немалых денег, приказал разрушить до основания. Так же он поступил и с многочисленными статуями Юлии Старшей.
В своем завещании Август запретил хоронить дочь и внучку в своей усыпальнице.
Однако все попытки императора притормозить процессы бездуховности и распутства, происходившие в обществе, ни к чему не привели. Вседозволенность процветала, и ее не могли остановить даже самые суровые законы и меры. Потому что ни один, даже самый обстоятельный закон не способен предотвратить и нормализовать процессы, происходившие в обществе, если он попирается его создателями. Яркий пример — семья Августа. Сразу же после смерти императора сенат снова вынужден был издать закон против распутного поведения женщин из аристократических кругов. Вот как об этом пишет Тацит: «Были изданы строгие указы сената против распутного поведения женщин и строжайше воспрещено промышлять своим телом тем, чьи отцы или мужья были римскими всадниками. Поводом было то, что Вистилия, дочь претора, объявила эдилам, что занимается проституцией».