Ребенок рос, скандалы принимали все больший размах, ив 1764 году отец поместил Оноре в военную школу, надеясь обуздать его нрав. При зачислении маркиз запретил сыну называться своим настоящим именем и записал его как Пьера Бюффье. Но четыре года муштры не утихомирили буйного наследника не менее норовистого отца. Под тем же вымышленным именем Оноре после окончания школы попал в полк. Здесь он вел весьма беспорядочную жизнь и умудрился за короткий срок наделать массу долгов. Вдали от родительского дома в полной мере проявилась склонность молодого человека к авантюризму и необузданная страсть к удовольствиям. Внезапно он сбежал с места военной службы, спасаясь от кредиторов и обманутой им девицы. Известия, полученные маркизом о разгульной жизни старшего сына, вызвали у него взрыв негодования. Он добился особого разрешения и отправил непутевого отпрыска под стражу в крепость на острове Рэ. Это заключение стало началом длительного скитания Оноре по тюрьмам и яростной многолетней борьбы между отцом и сыном. Конфликты чаще всего происходили из-за денег: маркиз был очень богат, но при этом патологически скуп и долги наследника оплачивать не торопился. Не одобрял старый аристократ и бесконечные любовные похождения Оноре, из-за которых тому пришлось оставить военную службу.
Из заключения буйный молодой человек смог выбраться, выразив готовность немедленно отправиться в военную экспедицию на Корсику. Оттуда он вернулся уже в чине капитана драгун, но образ жизни менять решительно не собирался. Правда, между несением службы и веселыми похождениями он все же умудрился выкроить свободное время и написать «Историю Корсики». Это вызвало новый виток напряженности в отношениях с отцом. Маркиз уничтожил книгу, едва она попала к нему в руки, поскольку написанное в ней шло вразрез с его собственными философскими и экономическими взглядами. Но был в этом эпизоде жизни Оноре и положительный момент: отец наконец-то заметил, что его сын обладает большими умственными способностями и талантом экономиста и политика. Спустя некоторое время, обуздав свою гордость, Виктор де Мирабо сообщил юноше, что согласен на примирение и готов дать ему шанс завоевать уважение родителей. В дальнейшем он всячески старался привлечь молодого человека на сторону своих экономических теорий. Так, маркиз внезапно выразил желание вернуть наследника домой, где поручил ему управление своими поместьями, и настоял, чтобы сын вновь принял имя Мирабо.
Казалось, жизнь Оноре потихоньку начала входить в спокойное русло. А в 1772 году он познакомился с Эмилией Мариньян, богатой наследницей, и по совету отца вступил с ней в брак. Но семейная жизнь Оноре оказалась неудачной. Его сын, Виктор, который мог бы удержать семью от развала, умер вскоре после рождения. Отныне супругов ничего не связывало – ни общность интересов, ни взгляды на жизнь. За короткое время молодой Мирабо промотал большую часть состояния жены и наделал долгов на 120 тыс. франков. Разъяренный маркиз в 1774 году добился, чтобы не оправдавшего его надежд сына сослали на жительство в захудалый городишко Маноск. Здесь, лишенный возможности вести разгульную жизнь, ставшую уже привычной, молодой бунтарь написал свое первое большое печатное сочинение. В нем он высказал серьезные смелые взгляды на государственное управление и проблемы, связанные с содержанием постоянной армии. Книга продемонстрировала не только глубокий и гибкий ум молодого аристократа, но и его обширные исторические знания.
В это время до Мирабо доходят слухи об оскорблении, нанесенном его сестре, г-же де Кабри. Возмущенный дворянин самовольно покидает место принудительного поселения, чтобы сразиться с обидчиком на дуэли. Но вернуться назад в Маноск Оноре не успел: стараниями собственного отца он был арестован и заточен в замок Иф. С этого времени жена оставила Мирабо, отказалась встречаться с ним и не отвечала на все просьбы супруга о примирении. Вскоре новый заключенный превратился в настоящую головную боль для тюремщиков, затем он соблазнил жену начальника замка. После такого скандала Мирабо перевели в крепость Жу, но заключение здесь разительно отличалось от предыдущего. Ограничение свободы в Жу было для него чисто формальным, так что Оноре имел прекрасную возможность поддерживать отношения с аристократическим обществом соседнего городка Понтарлье. Попытки примирения с отцом, предпринятые Мирабо, успехом не увенчались, маркиз упорно отказывался освободить его. Впервые в жизни будущий трибун ощутил, что он покинут всеми.