Аденауэр считал, что перевооружение Германии необходимо как для Европы, так и для восстановления политической идентичности Германии. Сначала он препятствовал публичным дебатам на эту тему, чтобы не мешать прогрессу в деле членства Германии в европейских институтах, но вскоре изменил свое мнение. По его мнению, доверие союзников может быть поколеблено, если Западной Германии нельзя будет доверить собственную оборону или она сама не будет доверять себе.
Перевооружение Германии было официально предложено Великобританией и США в августе 1950 года и быстро одобрено Германией. Франция отреагировала полусерьезным "Планом Плевена", который в октябре 1950 года предложил создать европейскую армию смешанной национальности, включая немецкие части. Был разработан проект договора, предусматривающий создание Европейского оборонного сообщества (EDC), в состав которого должен был войти интегрированный немецкий контингент. После того как Аденауэр ознакомил ключевых депутатов немецкого парламента с содержанием проекта договора , последовали ожесточенные споры. Шумахер дошел до того, что назвал договор "триумфом союзническо-клерикальной коалиции против немецкого народа".
В марте 1952 года, чтобы предотвратить создание европейского оборонного сообщества и перевооружение Германии, Сталин официально предложил объединение Германии на пяти условиях: (а) все оккупационные войска, включая советские, будут выведены в течение одного года; (б) объединенная Германия будет иметь нейтральный статус и не будет вступать ни в какие союзы; (в) объединенная Германия примет границы 1945 года - то есть линию Одер-Нейсе, которая представляла собой спорную послевоенную границу с Польшей; (г) экономика Германии не будет ограничена условиями, навязанными посторонними - другими словами, отмена Рурского статута, ограничивающего экономику Германии; и (д) объединенная Германия будет иметь право развивать свои собственные вооруженные силы. Эти предложения были адресованы западным союзникам, подчеркивая второстепенное положение Германии.
Было ли предложение Сталина искренним, или он пытался поставить Аденауэра в неловкое положение, маневрируя им так, чтобы казалось, что он предпочитает разделенную Германию внутри Европы объединенной, национальной, нейтральной Германии? По сути, Сталин просил Аденауэра отказаться от всего прогресса, достигнутого им на пути европейской интеграции, в обмен на объединение.
По современным данным, Сталин сделал это предложение только после того, как получил неоднократные заверения от своего министра иностранных дел, что оно будет отклонено. Тем не менее, это предложение поставило Аденауэра в трудное положение. Впервые после безоговорочной капитуляции вопрос об объединении страны был официально поставлен перед союзными державами и немецким народом. В Германии Шумахер утверждал, что нельзя упускать возможность для переговоров и что немецкий Бундестаг должен отказаться ратифицировать Европейское оборонное сообщество до тех пор, пока не будет изучена записка Сталина. Тот, кто одобряет ЕОУС в этих [нынешних] обстоятельствах, - утверждал он, - не может больше называть себя немцем.
Аденауэр стоял на своем. Он понимал, что переговоры могут зайти в тупик и перевести объединение Германии на идеологическую почву, на которой она будет стоять одна, и ее будут бояться все стороны. Если она будет действовать в одностороннем порядке, переговоры превратятся в поле боя, на котором европейцы будут вести междоусобную борьбу.
Чтобы избежать такого выбора, Аденауэр уклонился от публичной позиции по предложению Сталина, отложив его обсуждение до тех пор, пока концепция свободных выборов не будет принята всеми оккупационными странами и включена в конституцию объединяющейся Германии. В то же время он выступал за ратификацию Договора о ЕДК во имя общей обороны союзников.
Такой подход положил начало тому, что министр иностранных дел Великобритании Энтони Иден назвал "битвой нот". Аденауэра поддержал Эйзенхауэр, который в то время был кандидатом в президенты Соединенных Штатов и до 30 мая 1952 года оставался верховным главнокомандующим НАТО. Великобритания и Франция, больше обеспокоенные перспективой нейтральной Германии, чем советским давлением, согласились на гамбит Аденауэра. Консенсус был выражен в нотах союзников, направленных в Кремль 25 марта и 13 мая, которые требовали проведения свободных выборов как в Западной, так и в Восточной Германии в качестве прелюдии к объединению. Советский ответ от 24 мая утверждал, что ноты союзников затормозили любую возможность объединения Германии "на неопределенный срок".