В начале июня в Веймаре происходит встреча Брамса с Листом — знаменитым пианистом, дирижером, композитором, окруженным учениками главой самой передовой школы Германии. Он рад помочь любому, но Брамсу чужды его принципы, его музыка, и он отказывается от столь необходимой для начинающего могущественной поддержки. Наконец, 30 сентября 1853 года Брамс переступает порог дома Шумана в Дюссельдорфе. Он очарован и музыкой, и личностью Шумана, и его женой Кларой, знаменитой 34-летней пианисткой, и непритязательным укладом жизни семьи с шестью детьми (седьмой умер в младенчестве). Шуман всячески поддерживает молодого музыканта, и тот через несколько месяцев на деле доказывает свою признательность. Шумана настигает безумие, и Клара остается одна в ожидании рождения ребенка. Брамс считает своим долгом быть с ней рядом, оставляет помыслы о концертных турне и спасает жену Шумана от отчаяния. Она становится музой Брамса, как была музой Шумана.
Постепенно преданность и почтительная дружба сменяются горячей юношеской любовью. Четыре баллады для фортепиано опус 10 отражают чувства, владевшие Брамсом. 29 июля 1856 года Шуман умирает. Чтобы оправиться от удара, Клара с двумя сыновьями отправляется в Швейцарию, их сопровождает Брамс. Никто не знает, что произошло между ними. Клара теперь свободна, она знает о чувствах Брамса, и он, которого не смущает разница в возрасте, может соединиться с ней законными узами. Но именно после смерти Шумана его письма к Кларе становятся менее пылкими, хотя их дружба продолжается до конца дней (он пережил ее всего на год).
В 1857 году композитор получает первое постоянное место работы — музыканта княжеского двора в Детмольде, где приобретает опыт хорового дирижера и пишет многочисленные хоры. Лето следующего года он проводит у Иоахима в Геттингене. Здесь он знакомится с красивой дочерью профессора университета Агатой Зибольд. Она так поет песни Брамса, что знаменитый скрипач сравнивает ее голос с драгоценной скрипкой Амати. Об отношениях Брамса и Агаты судачит весь город, дело идет к обручению. Он забрасывает девушку пылкими письмами, но в одном проскальзывает характерная фраза: «Я не могу наложить на себя оковы!» и оскорбленная Агата порывает с Брамсом.
Рубеж 50—60-х годов — трудное время для композитора. В 1859-м он испытал одно из самых тяжелых поражений в творчестве. На протяжении пяти лет Брамс работал над сочинением страстным, мятежным, даже демоническим — вначале задуманное как симфония, оно было записано для двух фортепиано и состояло из четырех частей. Исключив траурную сарабанду, которая через несколько лет войдет в Немецкий реквием, Брамс превратил его в фортепианный концерт опус 15. Некоторые современники утверждали, что первая часть отражает впечатления от покушения Шумана на самоубийство, тогда как о следующем адажио композитор говорил Кларе: «Я пишу твой портрет в мягких тонах». Концерт не был принят ни на премьере в Ганновере, ни в Лейпциге, где провал был полным.
Особенную горечь композитор испытал от неуспеха в городе Шумана и Мендельсона, где жили их духовные наследники, стремившиеся сохранять национальные традиции, привлекать к музыке широкие круги любителей. Они противостояли Веймарской школе, и это должно было сблизить их с Брамсом. Еще более осложнилось положение композитора, когда в 1860 году в Цвиккау, на родине Шумана, праздновалось 25-летие созданного им «Нового музыкального журнала». Ни вдова, ни друзья Шумана, враждебно относившиеся к Листу, в руках сторонников которого находился теперь журнал, не были приглашены на празднество. Так Веймарская школа объявила себя единственной наследницей Шумана, утверждая, что все серьезные музыканты Германии разделяют ее принципы. Брамс почувствовал себя оскорбленным и решил выступить против «веймарской клики», как он называл последователей Листа. Вместе с Иоахимом он написал «Протест», опубликованный в берлинской газете «Эхо», в котором говорилось, что взгляды Листа являются «заблуждением», «противоречат самому существу музыки и вредно влияют на развитие искусства». Поскольку Иоахима знали только как исполнителя, а две другие подписи принадлежали композиторам незначительным, автором «Протеста» оказался один Брамс. Так он вступил на свой одинокий путь.
В сентябре 1862 года композитор приехал в Вену. Австрийская столица оценила его сразу же как превосходного пианиста. Он же жаждет иного признания — и прежде всего в родном Гамбурге, где мечтает остаться навсегда. Но пост руководителя Певческой капеллы, на который он претендует, получает другой. У «отцов города» стойкое предубеждение против музыканта, выросшего в самом убогом и грязном квартале.