Карлос много харесва дядо си, императора на Свещената Римска империя, заради неговите военни успехи и изразява желание да го види. Карл V вече е абдикирал и се е оттеглил в йерономитския манастир край Юсте в Испания. Дон Карлос толкова много иска да види дядо си, че новият му наставник дон Гарсия де Толедо полага големи усилия да го склони да не яхне коня си и да препусне към обиталището на прочутия си прародител.
По-късно среща между тях е насрочена за октомври 1556 г. във Валядолид. Там дон Карлос, изпълнен с войнски плам, слуша с голям интерес разказите на императора за военните му походи. Но когато дядо му споменава, че в един от случаите е бил принуден да отстъпи, Карлос истински се ядосва и заявява, че лично той никога не би отстъпил пред врага. При определени обстоятелства, повтаря височайшият му прародител, е по-разумно да се отстъпи. Дон Карлос обаче е бесен. „Това момче ми изглежда много объркано; неговите маниери и темперамент никак не ми харесват; не знам какво ще излезе от него“ — споделя императорът пред сестра си Елеонор Френска.
Карлос има неприятна външност, която граничи с физическа изроденост. Главата му е ненормално голяма, едното рамо е по-високо от другото, краката му са криви и единият е малко по-дълъг от другия, а дясната му ръка е очевидно съсухрена; кожата му е бледа. Като дете боледува често и плъзват слухове, че едва ли ще доживее до зряла възраст. „Принцът — пише венецианският посланик Тиеполо — е нисък на ръст. Фигурата му е деформирана и отблъскваща. Видът му е меланхоличен и това се дължи на факта, че от тригодишна възраст почти без прекъсване страда от хронична маларична треска; понякога изглежда умопомрачен.“ Висок и слаб като малък, принцът започва да трупа килограми през пубертета; „и нищо чудно — коментира английският пратеник в Испания Томас Чаланър на 21 ноември 1562 г., — защото той добре си похапва.“ Всички в двора обсъждат невероятния апетит на младия принц. „Той се храни лакомо — пише посланикът на Свещената Римска империя барон Дитрихщайн — и едва свършил с яденето, вече е готов отново да започне. Това системно преяждане е причина за неговата болнавост и мнозина са на мнение, че ако продължава по същия начин, няма да живее дълго.“ (Calendar of State Papers, Elizabeth, 1562. Foreign. Ed. 1869, p. 483).
Още повече тревоги предизвиква неговата припряност и раздразнителност, които издават подчертан садизъм. За да се забавлява, принцът кара млади момичета да плачат в негово присъствие. Друг венециански пратеник в испанския двор — Бадоаро, споделя, че „бледият цвят на кожата му издава жестоката му природа… Когато му носят отстреляни зайци или други животни, принцът с удоволствие гледа как ги пекат живи на огъня… Гордостта му е несравнима и той не понася да бъде дълго време в компанията на баща си или дядо си и да стои с шапка в ръка. Гневи се много по-често, отколкото е редно за един млад човек.“ „Когато хората не му обръщат необходимото според него внимание, той нарежда да бъдат бити с камшици или с пръчки по стъпалата, а неотдавна заповядал един човек да бъде кастриран. Принцът, изглежда, не обича никого, но мрази мнозина“ — пише венецианският посланик на Тиеполо. Вадейки кама изпод мантията си, дон Карлос заплашил с убийство кардинал Еспиноза, понеже забранил на актьора Сиснерос да представи някаква комедия в негово присъствие. На ковчежника си Хуан Естевес де Лобон пък казал, че ще го изхвърли от прозореца — нещо, с което заплашва и сина на херцога на Лас Навас. В счетоводните му книги фигурират плащания за обезщетяването на родители, чиито деца са били бити по нареждане на принца. С животните Карлос се отнася по същия начин, като осакатява с такава жестокост конете, които не му харесват (споменават се двадесет и три такива случая), че те просто трябва да бъдат убити.
Скоро историите за невъздържаното поведение на дон Карлос се превръщат в легенди и дори някои да са спорни, без съмнение са достатъчно красноречиво доказателство за патологичната злонамереност на принца. По онова време е модерно младите мъже да си поръчват обувки с много по-голям номер, така че в тях да може да се пъхнат пищовчета. Когато баща му научава, че и Карлос си е поръчал такива, той заповядва на обущаря да не се съобрази с желанието на сина му. Принцът побеснява, когато майсторът не му доставя „ексцентричните“ обувки, които е поръчал, и нарежда да ги накълцат на парченца, „да ги сготвят като фрикасе от говежда карантия“ (fricasser comme tripes de boeuf) и принуждава нещастния обущар да изяде отвратителното ястие. При друг случай, когато от един балкон непредпазливо изхвърлят вода, която се плиска близо до него, Карлос заповядва нарушителите да бъдат екзекутирани, като добавя, че като израз на своето милосърдие, ще им разреши да получат последно причастие, преди да умрат. Френският сладкодумец Пиер дьо ла Бурдей, господар на Брантом, който през 1564 г. е в Испания, казва, че принцът скита по улиците с други необуздани млади мъже, нанасяйки тежки телесни повреди на минувачите и целувайки момичетата по пътя (Brantome, Oeuvres completes, ed. 1866, vol. II, pp. 105–106). Но както френският посланик отбелязва, „той често е толкова откачен и разгневен, че едва ли някой смята жената, принудена да живее с него, за много облагодетелствана от съдбата“ („le plus souvent il est si fou et si furieux, qu’il n’y a celui qui ne juge mal fortunee la femme qui aura a vivre avec luy“).