Роберт походил характером на Вильгельма Рыжего, хотя и отличался большим чистосердечием. То привлекательный, то вызывавший презрение, он, в сущности, был противоположностью своего отца, хотя и не уступал ему в храбрости. Коренастый и приземистый, получивший за это прозвище Коротконогий, взбалмошный и легкомысленный до наивности, ленивый, склонный к разгульному образу жизни, он ближе других был со своим дядей, Одо из Байё, но не обладал его энергией. Своей непоседливостью и ребяческой наивностью он легко завоевывал симпатии окружающих. Тяга к наслаждениям побуждала его вести «современный» образ жизни, предаваясь роскоши и галантному времяпрепровождению. Его отец, не имевший ни способности, ни желания понимать все тонкости этой непостоянной натуры, не скрывал своего недовольства им. В 1073 году он пожаловал Роберту титул графа Мэна, однако рассматривал его как своего рода подставное лицо, продолжая именовать себя в официальных документах «государем обитателей Мэна», что могло быть истолковано как откровенное пренебрежение новоявленным «графом». Еще в 1066 году Роберт был объявлен наследником герцогства Нормандского, поэтому, возмужав, он заявлял о своем намерении реально управлять им в период отсутствия там своего отца, но тот совершенно не принимал в расчет подобного рода притязания. Между ними назревал конфликт. Поднимая мятеж, Роже де Бретей и Рауль де Вадер, похоже, считали неминуемым разрыв между отцом и сыном, намереваясь извлечь из этого собственную выгоду.
Этот разрыв и в самом деле произошел, но позднее, в конце 1076-го или в начале 1077 года. Королевская семья, рассказывает Ордерик Виталий, тогда находилась в имении одного из своих вассалов. Однажды, когда Роберт развлекался во дворе со своими приятелями, его младшие братья, высунувшись из окна, в шутку окатили его водой из ведра. Вне себя от ярости Роберт бросился в дом. Отец остановил его и стал читать ему наставление, однако Роберт оборвал его на полуслове: «Я не для того здесь, чтобы выслушивать нравоучения, господин король! Назначенные тобою наставники до тошноты напичкали меня ими!» Слово за слово, и между ними разгорелась шумная ссора. Роберт настаивал, чтобы отец в конце-то концов отдал ему обещанную Нормандию. Ответ Вильгельма был по-королевски лаконичен: «Я раздеваюсь, только когда отправляюсь спать!»
Окружавшие Роберта товарищи подталкивали его к восстановлению справедливости. Ночью эта компания молодых людей покинула гостеприимный дом и направилась в Руан, цитадель которого Роберт попытался захватить внезапным налетом, однако получил от гарнизона достойный отпор. Тогда он бежал в Перш, где нашел прибежище у Гуго де Шатонёфа, сочувствовавшего пресловутой Мабиль де Беллем. Феодальные интриги вновь сотрясали этот приграничный регион, в котором многие сеньоры являлись вассалами короля, поскольку часть своих доменов они держали как королевские пожалования. Гуго предоставил свои замки Сорель и Ремалар в распоряжение Роберта и его товарищей, молодых рыцарей, принадлежавших к самым древним нормандским родам. Горячие, отважные, с нетерпением искавшие случая показать свою силу и расточавшие ее в не суливших ничего хорошего авантюрах, они, едва выйдя из детского возраста, стряхнули с себя все ограничения, налагаемые дисциплиной. Отсюда проистекали их дружба, взаимное доверие и одинаково разгульная жизнь. Отныне они на долгие годы будут неразлучны.
Король конфисковал земли мятежников и направил на усмирение своего сына графа Ротру, сюзерена Гуго де Шатонёфа. Роберт, не выдержав натиска, бежал во Фландрию, однако граф Фландрский Роберт отказался прийти к нему на помощь. Отряду золотой молодежи пришлось удалиться, но вместо того, чтобы загладить свою вину, они продолжили развеселую жизнь, на протяжении почти двух лет переезжая в компании трубадуров, музыкантов и девиц легкого поведения от одного двора к другому, где их хорошо принимали, но старались поскорее спровадить с глаз долой. Однако чтобы вести такой образ жизни, нужны были деньги, а где их взять? Королева Матильда, разрывавшаяся между супругом и сыном, старалась не замечать вины последнего и тайком снабжала его деньгами, которые извлекала из королевской казны, хранившейся в замках Кана и Фалеза, поскольку, будучи регентшей герцогства, имела доступ к ней. Вильгельму вскоре открылась эта растрата государственных средств, явившаяся страшным ударом как по доверию, которое он всегда питал в отношении своей жены, так и по его самолюбию. Душевные муки породили в нем ярость. Между супругами разыгрался страшный скандал. Вильгельм велел доставить к себе связного Матильды с Робертом, бретонца по имени Самсон, и приказал выколоть ему глаза. Однако добрые люди помогли несчастному скрыться, и он, охваченный страхом, бежал в монастырь Сент-Эвруль, где и принял монашеский постриг. Пребывавшая в полном отчаянии Матильда обратилась, как рассказывает Ордерик Виталий, к некоему популярному тогда германскому прорицателю, ответ которого, как всегда достаточно туманный, казалось, предвещал катастрофу...