Одиночество Иванова скрасил только приезд младшего брата Сергея. В судьбе его Александр всегда принимал близкое участие, находясь за границей, переписывался с ним, следил за его учением, направил его на занятия архитектурой. Благодаря Александру Сергей избавился от глухоты удачной операцией, сделанной доктором Иноземцевым в Москве. Александр и позднее помогал ему советами, особенно когда тот послан был за границу и по дороге в Рим остановился в Париже. «Сердце у меня забилось от радости, — писал Иванов отцу, — при известии о том, что брат пересек границу». Александр помнил Сергея мальчиком, и когда у дверей своей студии он увидал незнакомого молодого человека с тонкими, правильными чертами лица и небольшой бородкой, художник долго не мог поверить, что это и есть тот самый долгожданный Сережа, которого почти двадцать лет назад он оставил в Кронштадте восьмилетним малышом. К брату своему Иванов почувствовал большую нежность. Братья стали жить вместе и разлучались только во время летних поездок в Неаполь. Хотя Александр не мог отвыкнуть от взгляда на Сергея, как на младенца, тот скоро оказался в роли заботливой и внимательной няньки своего старшего гениального брата. Он устраивал его дела, следил за его здоровьем, не отходил от него, чтобы предупредить какой-либо опрометчивый поступок.
Сергей не принадлежал к числу тех беззаботных молодых художников, которых ничто не занимало, кроме собственного благополучия. Не обладая творческим гением брата, он своей честной деловитостью, прямотой и благородством характера ему ничуть не уступал. Два года, проведенных в Париже в канун революции 1848 года, не пропали для него даром. Сергей хлебнул из чаши политического радикализма, усвоил многие передовые политические воззрения, о которых Александр даже и понятия не имел в своем римском захолустье. Вот почему общение с ним Александра ускорило его освобождение от старых воззрений и содействовало скорейшему переходу на сторону передовых сил. Вместе с тем у Сергея, который самые мрачные годы николаевской реакции провел в Петербурге, не было никаких иллюзий насчет возможности заключения выгодного для искусства соглашения с николаевским правительством.
Хотя Сергей не имел на то никаких отговорок, он категорически отказался от возвращения в Петербург в 1848 году, когда посольство потребовало от него, чтобы он покинул пределы революционного Рима. Недаром и впоследствии, в годы освободительной войны в Италии, он недвусмысленно выражал свои симпатии народному движению и не скрывал враждебности к обскурантам.
Помимо своего брата, Александр Иванов мало виделся с другими людьми и скоро отвык от общения с ними. Одиночество помогало ему сосредоточиться на делах искусства, содействовало его творческим успехам, помогало ему в решении своих творческих задач. В этом одиночестве было нечто от отшельничества, и на это намекал еще Гоголь, говоря о подвижничестве художника и его лишениях. Но как ни благородно было само по себе это самопожертвование художника, такая жизнь нелюдимым чудаком наложила на него отпечаток, и потому молодым художникам нетрудно было высмеять его в карикатурах. Расстроенное здоровье все больше давало о себе знать в поведении Иванова, и скоро его мнительность дошла до такой степени, что даже его самый верный друг, брат Сергей, с которым он говорил с полной откровенностью, выходил из себя, когда наступал очередной приступ.