Конечно, и настроения в стране постепенно изменились. После лет эйфории, связанных с позитивными изменениями, наступил упадок — население устало от реформ. Теперь вместо изменений большинство западных немцев хотели стабильности: в состоянии депрессии после первого нефтяного кризиса они искали того, кто сможет преодолеть кризис. Вилли Брандт определенно не был таким человеком. Кроме того, левое крыло СДПГ не хотело мириться с новыми настроениями в стране и крепко держалось за планы новых реформ. Душевное состояние избирателей их не интересовало, следовательно, результаты опросов избирателей весной 1974 года для СДПГ стали катастрофой.
Неясная картина начала 1974 года стала достаточным поводом, чтобы руководитель фракции СДПГ Венер поставил под вопрос пребывание Брандта на посту федерального канцлера. Его критика нашла поддержку. Исполняющий обязанности председателя партии, а также министр финансов Гельмут Шмидт проголосовал за перевыборы канцлера. Шмидт озабоченно наблюдал за тем, как избиратели отворачиваются от его партии. Он потребовал, чтобы СДПГ приняла в расчет настроения избирателей, уставших от реформ. 6 марта 1974 года во время телевизионного интервью он предложил реорганизовать правительство, более того, он заявил, что: «…реорганизация правительства сама по себе может оказаться просто очередным трюком. Дело должно зайти дальше, чем просто сменить пару человек».
Если это и было требование смешения главы правительства, то оно не нашло широкой поддержки. Атака Шмидта привела к тому, что партия солидаризовалась с Брандтом. Критика была принята, но никто не собирался свергать канцлера. Лишь раскрытие аферы с Гийомом заставила Брандта подать в отставку. Канцлер взял на себя ответственность за скандал, когда к нему слишком приблизился шпион ГДР Гийом. Однако Брандт продолжал борьбу с самим собой: должен ли он был действительно оставить пост канцлера по этой причине? В начале мая 1974 года друзья по партии советовали ему не делать этого, среди них был и Гельмут Шмидт, который яростно протестовал против планов отставки Брандта. «Я никогда так не кричал на Вилли Брандта, как тогда, когда он позвал меня, чтобы сказать, что подает в отставку, а я должен быть его преемником», — вспоминает Шмидт. «Я боялся этой должности, точнее сказать, этой ответственности». На самом деле Шмидт исполнял мечту всей своей жизни. Брандт сдался и 6 мая 1974 года записал в своем дневнике: «Я даю Гельмуту Шмидту дружеский совет не вести себя так, как будто я оставил ему какой-то дерьмовый магазинчик».
Смена главы правительства 16 мая 1974 года отразила «тенденцию к переменам» в стране в целом. Были сменены не только отдельные личности: «Брандт олицетворял собой больше, чем все остальные политики социал-либеральной коалиции вместе взятые… С его отставкой и одновременной сменой тоже символичной для коалиции фигуры Вальтера Шеля, который стал президентом… исчезла значительная часть человеческой, духовной и эмоциональной составляющих этой коалиции. Союз Брандт — Шель перерос в трезвое деловое сотрудничество Шмидт — Геншер», — так позже оценил эту ситуацию политолог Вольфганг Йегер.
Правительственное заявление, которое Шмидт 17 мая 1974 года передал в бундестаг, имело основной идеей «концентрацию и непрерывность»: «В то время, когда проблемы во всем мире непрерывно нарастают, мы концентрируемся со всем реализмом на том, что сейчас необходимо, оставляя нее остальное в стороне». На практике оказалось, что упор был скорее на концентрации, чем на непрерывности. В свой кабинет министров Шмидт набрал социал-демократов, которые сконцентрировались на осуществимых и не слишком дорогих проектах и надеялись таким образом вернуть лояльность большей части избирателей. Министром финансов стал Ганс Апель, министром обороны Георг Лебер, Вальтер Арендт взял на себя Министерство труда и социального обеспечения, Ганс-Йохен Фогель — Министерство юстиции. Новый канцлер усилил свое правительство функционерами из профсоюзов, таких как Курт Гшайдле (министр связи) и Ганс Маттхёфер (министерство исследований и технологий). Шмидт хотел «делать политику» для общей массы своих избирателей, а не воплощать в жизнь глобальные и во многом утопические проекты. Требовались не реформаторы или идеологи, нужны были солидные прагматики, готовые к компромиссу. В кабинете министров не было звезд, устраивающих показательные бои. «Граждане ожидают от нас, что новый правительственный аппарат будет работать под новым руководством разумно и четко, что решения, созревшие в дискуссии, будут приняты и, в конце концов, реализованы», — вот на что претендовал новый канцлер. Хотя он и считался человеком, который легко принимает решения, он принимал их не в одиночку. Шмидт был «виртуозом консенсусов», и не только внутри кабинета министров, но и когда речь шла о том, чтобы вовлечь в принятие решений различные общественные силы.