Карл Брюллов отличался принципиальным и независимым характером. Сохранилась легенда о том, как он долго отказывался писать портрет Николая I, но в конце концов был вынужден согласиться. Император назначил время, но запаздывал. Брюллов довольно долго его терпеливо ожидал, но затем ушел. Первый сеанс не состоялся. Вскоре Николай, нахмурившись, сделал ему замечание, но художник, «смело глядя ему в глаза», ответил: «Я не допускал мысли, что император может опаздывать».
Вместе с тем, по свидетельству современников, Брюллов был личностью глубоко аморальной, много пил и «в дни славы его враги уже видели в нем пьяного сатира, с опухшим от вина и разврата лицом». По Петербургу ходил анекдот о том, как Брюллов, находясь в веселом расположении духа и тела, однажды в мастерской представил своего ученика: «Рекомендую: пьяница», на что тот, указывая на Брюллова, незамедлительно отпарировал: «А это мой профессор». По словам одного современника, «безнравственность Брюллова равнялась лишь его таланту».
Имя Карла Брюллова стало нарицательным, а его творчество — образцом для подражания многих поколений художников. Рассказывают, что Павлу Федотову долго не давалась картина «Вдовушка», пока однажды во сне ему не явился Брюллов. Он подсказал, какие нужно выбрать цвета. Наутро все получилось. Даже в наше время именем Карла Брюллова пользуются как метафорой. После невероятно успешного восхождения по карьерной лестнице придворного портретиста последних лет советской власти А. Шилова появилось крылатое выражение, способное войти в золотой фонд городского фольклора: «На безбрюлловье и Шилов — Брюллов».
Его старший брат Александр заслуженно пользовался репутацией видного петербургского архитектора. Он был автором здания Михайловского театра на площади Искусств, Штаба гвардейского корпуса на Дворцовой площади, комплекса Пулковской обсерватории и многих других архитектурных сооружений. По рекомендации Карла Александр спроектировал и построил загородную дачу графини Юлии Павловны Самойловой в ее имении Графская Славянка под Петербургом. Самойлова была преданной и ревнивой поклонницей таланта Карла Брюллова.
В 1837–1839 годах Александр Брюллов приступил к строительству собственной дачи в Павловске. Дача имела вид небогатой итальянской загородной усадьбы с башней и выглядела несколько непривычной для русского глаза. В то время владельцем Павловска был великий князь Михаил Павлович. Если верить фольклору, утверждая проект дачи Брюллова, Михаил Павлович будто бы проворчал: «Архитектор! Мог бы и получше».
Брюллов любил проводить время на собственной даче с многочисленными друзьями. Он был большим выдумщиком и затейником. Мог среди ночи поднять гостей и повести их на башню разглядывать звезды. Придумывал самые невероятные развлечения. С Брюлловым был хорошо знаком Н. В. Гоголь, который в то время также жил в Павловске. Гоголь был свидетелем и участником многочисленных выдумок Брюллова. Говорят, что образ мечтателя и фантазера Манилова из «Мертвых душ» был навеян образом архитектора Александра Брюллова.
Посетителем салона Оленина был и Федор Иванович Толстой, прозванный Американцем. Это был один из самых сложных и противоречивых друзей А. С. Пушкина. Они враждовали, мирились, снова расходились, правда, когда дело дошло до сватовства поэта, Пушкин вспомнил именно о Толстом и попросил его быть посредником. По мнению некоторых исследователей, Федор Толстой послужил прототипом старого дуэлиста Зарецкого в «Евгении Онегине». Свое прозвище граф Федор Толстой получил после того, как, участвуя в кругосветном путешествии И. Ф. Крузенштерна, был списан с корабля и высажен на Алеутских островах за недостойное поведение. Лев Николаевич Толстой, который приходился Федору Толстому двоюродным племянником, называл его «необыкновенным, преступным и привлекательным человеком». Он действительно был умен, талантлив, но его пренебрежение к моральным нормам вызывало в обществе резко отрицательное отношение.
Имя Федора Толстого-Американца не сходило с уст светского Петербурга. Оголтелый распутник и необузданный картежник, «картежный вор», по выражению Пушкина, Федор Толстой был проклятием древнего и почтенного рода Толстых. Только убитых им на дуэлях, если верить фольклору, насчитывалось одиннадцать человек. Имена убитых Толстой-Американец тщательно записывал в «свой синодик». Так же старательно в тот же «синодик» он вносил имена нажитых им в течение жизни детей. Их у него было двенадцать. По странному стечению обстоятельств одиннадцать из них умерли в младенчестве. После смерти очередного ребенка он вычеркивал из списка имя одного из убитых им на дуэлях человека и сбоку ставил слово «квит». После смерти одиннадцатого ребенка Толстой будто бы воскликнул: «Ну, слава Богу, хоть мой курчавый цыганеночек будет жив». Речь шла о сыне «невенчанной жены» Федора Толстого цыганки Авдотьи Тураевой. По другой легенде, однажды количество умерших детей Толстого и количество убитых им на дуэлях противников совпало. И тогда Толстой, глядя в небо, проговорил: «Теперь мы с тобой квиты, Господи».