Параллельно с переговорами с СССР правительство Федеральной республики стремилось добиться своей цели в «восточной политике» в отношении с ГДР. Диалог двух немецких государств на высшем уровне начался в Эрфурте.
Когда Вилли Брандт сошел с поезда, перед вокзалом уже собралась нетерпеливая толпа, которую с трудом сдерживали полицейские. Брандт произнес короткую приветственную речь: «Благодарю вас за теплый прием, а также за то, что обеспечили хорошую погоду». «Погода не должна мешать делу», — парировал Штоф не без иронии. Перед отелем «Эрфуртер Хоф» толпа прорвала полицейское заграждение. «Вилли, Вилли!» — скандировали собравшиеся. Чтобы не было никаких недоразумений, толпа потребовала лицезреть «классового врага»: «Вилли Брандт, к окну!» Брандт в номере отеля боролся с собой. Он знал, что если эмоции на площади будут нарастать, это может окончиться плохо. Он медленно подошел к окну и поднял руку ровно настолько, чтобы можно было понять этот жест и как приветственный, и как успокаивающий. «Я на следующий день опять буду в Бонне, а они останутся здесь… Поэтому я призвал своим жестом к сдержанности. Меня поняли. Толпа замолчала. Я отвернулся с тяжелым сердцем», — вспоминал позднее Брандт.
Прием Вилли Штофа во время ответного визита в Касселе выглядел менее сердечно. Уже на вокзале премьер-министра ГДР попросту освистали. Дело дошло до скандала, когда радикально настроенные демонстранты сорвали с флагштока флаг ГДР и разорвали его. Штоф был возмущен: значит, в ФРГ плетутся неонацистские интриги и демонстранты угрожают официальным представителям ГДР. Брандту ничего не оставалось, как извиниться за «инцидент», но атмосфера осталась напряженной. Восточный Берлин и Бонн решили поначалу взять «время на раздумья».
Результат обеих встреч в верхах оказался более чем скромным, но переговоры продолжались. На гораздо более эффективной основе зиждились такие ослабления режима, как возможность наносить взаимные визиты и обмениваться письмами. Это было необходимо для сохранения чувства общности всех немцев. Договор об основах взаимоотношений между ФРГ и ГДР был подписан 6 ноября 1972 года «без ущерба конституциям ФРГ и ГДР по основополагающим вопросам, в том числе и по национальному вопросу», как было указано в преамбуле к договору. Другими словами, это означало, что ФРГ по-прежнему выступает за объединение немцев. В самом соглашении было установлено, что оба государства начнут делать шаги по вступлению в ООН. В ходе «нормализации отношений между ними» должны быть по-новому решены «практические и гуманитарные вопросы». Было оговорено, что по вопросам науки, экономики, техники, культуры, здравоохранения, экологии и пр. в будущем будут подписаны отдельные соглашения для достижения нового консенсуса. Отдельным письмом ГДР одобрила ослабление режима передвижения и разрешение на воссоединение семей.
Договор об основах отношений с ГДР не цементировал разделение Германий, напротив, он письменно зафиксировал требование о воссоединении и поселил эту мысль в головах граждан обоих государств благодаря упрощению взаимного общения. Кроме того, визит Брандта в Эрфурт был ясным указанием на то, что после 20-летнего разделения немецкая нация по-прежнему чувствовала себя единым целым.
«Здесь разрывают то, что является единым», — выкрикнул Вилли Брандт в 1956 году в Берлине перед Бранденбургскими воротами, когда разъяренная толпа хотела прорваться в восточную часть города в тот день, когда советские войска подавили восстание в Венгрии. Брандт смог взять под контроль и успокоить толпу, затянув национальный гимн. Годами позже он опять смог вернуться к этой фразе.
В 1971 году мир почтил усилия Вилли Брандта Нобелевской премией мира, он стал четвертым в мире немцем, получившим эту высокую награду. Он «протянул руку примирения между старыми врагами» и внес «значительный вклад в мирное развитие не только Европы, но и всего мира».
Московский договор открыл путь к единению со странами соцлагеря, символической кульминацией которого стало коленопреклонение Брандта у мемориала в Варшаве. «Кто хотел меня понять, тот мог понять, и многие немцы, где бы они ни находились, поняли меня», — сказал Брандт позже о своем жесте. Но были и те, кто не понял. Противники Брандта говорили, что его падение на колени было не спонтанным выражением чувств, а хорошо продуманной инсценировкой, и об искренних чувствах не могло быть и речи. К тому же многие СМИ не без задней мысли путали памятник жертвам Варшавского гетто с Могилой неизвестного солдата, что придавало жесту Брандта совсем иную окраску. Согласно опросу журнала «Шпигель» лишь 41 % опрошенных считали коленопреклонение Брандта уместным, 48 % посчитали этот шаг чрезмерным. Когда-то ведь должен наступить конец вечному покаянию, нельзя же вечно посыпать голову пеплом, таково было мнение большей части населения ФРГ. В обществе начались протесты против «продажи восточных областей Германии», ведь Варшавский договор содержал недвусмысленное признание линии Одер — Найсе западной границей Польши. «Десятки лет мы жили в иллюзии, что воссоединение и новое обретение “потерянной родины” могут быть реализованы лишь в западном варианте. Вид коленопреклоненного бундесканцлера задел меня и был исключительно неприятен. Подобный жест в чужой стране противоречит всем международным обычаям», — оценивал поведение канцлера Фридрих Вальтер, вице-президент «Союза изгнанников».