Брут происходил из неблагополучной семьи. Отец погиб в гражданской войне. Мать же его Сервилия была женщина развратная — весь Рим судачил о ее скандальных похождениях. В то же время она была очень практичной особой и занималась всякого рода денежными спекуляциями. В молодости была любовницей Цезаря, потом всю жизнь тянула с него деньги. Сначала он дарил ей драгоценные жемчужины; став диктатором, одаривал домами изгнанных республиканцев. Когда же ей показалось, что она стала слишком стара и влиятельный любовник ускользает из ее рук, она свела его со своей молоденькой дочерью. Ясно, что у такой женщины, с головой погруженной в романы и коммерческие аферы, не хватало времени заниматься сыном. Она и подбросила его Катону, своему младшему брату.
Катон любил свою родню: беспутных сестер, так на него непохожих, племянниц и племянника, которые постоянно жили у него в доме. Когда вспыхнула гражданская война, он поразил всех — явился в военный лагерь с сестрой, несшей на руках ребенка. Катон твердил, что не может бросить ее на произвол судьбы, так как муж, выгнавший ее из дома, скончался. А эта женщина, которую в Риме считали совсем пропащей, в свою очередь говорила, что не может оставить Катона, что ему нужны уход и режим. Так что в конце концов римляне решили, что у нее доброе сердце, хотя прежде этого никто не замечал.
Катон был полной противоположностью сестре. Трудно представить себе еще кого-либо, кто так же презирал бы материальные блага. Ему, например, было все равно, что надеть, и когда иноземные цари делали ему подарки, он их с презрением отвергал. Один из них пригласил его к себе, угощал дорогим обедом, уложил в роскошную спальню — и что же? Наутро Катон от него сбежал. Все свои деньги он раздавал друзьям. А они дошли до такой бесцеремонности, что приходили к нему, без спросу брали вещи и закладывали. Продавали и его земли. А этот чудак и не думал на них сердиться (Plut. Cat. Min., 10, 54).
Катон был страстным поклонником Греции. Он объехал все древние города Эллады, учился у знаменитых эллинских ученых, в диспутах побеждал греческих философов. Его постоянно видели с книгой в руке. Он придерживался высокого учения стоиков и считал, что добродетель — высшее благо для смертного. Прекрасный поступок сам по себе является наградой, другой награды ждать нельзя.
Естественно, Катон оказал на Брута огромное влияние. Он поселил в его сердце страстную любовь к философии и высоким идеалам. По возрасту он годился ему скорее в старшие братья, чем в дядья — между ними было девять лет разницы. Может быть, это делало Катона еще ближе к Бруту. Брут пламенно любил его и преклонялся перед ним. То был его кумир, которому он пытался подражать всю жизнь. После его гибели он написал вместе с Цицероном его биографию, вернее житие, где, по словам современников, превознес Катона до небес. Друзья Брута вспоминали, что перед смертью он неотступно думал о Катоне.