Вот почему одним из важнейших направлений дипломатии Горчакова в Европе в тот период стало противодействие германским агрессивным устремлениям по отношению к Франции. Однако Третья республика была ещё слишком слаба для того, чтобы стать серьёзным союзником, и Горчаков это хорошо понимал. Заключив соглашение с Францией, Россия могла выиграть очень немного и вместе с тем получить опасного врага — Германию. В то же время продвижение России в глубь Средней Азии встречало сильное сопротивление со стороны Англии. Английские советники натравливали афганского эмира против России. Из Афганистана были изгнаны русские купцы. Афганские войска, вооружённые английским оружием, вторгались в Туркмению. В семидесятых годах англо-русские противоречия резко обострились, как никогда со времён Крымской войны.
Вся эта сложная международная обстановка вынуждала российское правительство сохранять хорошие отношения с Берлином. Это диктовалось и чисто экономическими причинами: на Германию приходилось около трети всего русского экспорта хлеба. Наконец, прогерманская партия пользовалась довольно сильным влиянием при царском дворе. Всё это не могло не сказаться на политике русского Министерства иностранных дел и его главы.
В августе 1872 года в Берлине состоялось обставленное с великой торжественностью свидание трёх императоров: германского, российского и австрийского. Тогда же происходили переговоры министров иностранных дел трёх держав. Горчаков и австро-венгерский министр Андраши договорились сохранять статус кво на Балканах. Бисмарк в своих интересах всячески поддерживал намерение Горчакова достичь соглашения с Австро-Венгрией. Так была заложена основа очень зыбкого и противоречивого объединения, известного как Союз трёх императоров.
Горчаков крайне сдержанно относился к русско-германскому и русско-австрийскому сближению, хотя оно имело немало сторонников среди царского окружения и встречало сочувствие Александра II. Опытный дипломат отчётливо видел растущую угрозу со стороны Германской империи. Он понимал, что могут означать для России слова Бисмарка о «традиционных дружеских отношениях»: «железный канцлер» пытался повести петербургский кабинет в русле своей политики, а политика эта была чревата опасными для нас последствиями (что и подтвердилось позже).
Со своей стороны Горчаков стремился использовать союз с Германией и Австро-Венгрией для противодействия наступлению Англии в Средней Азии и на Ближнем Востоке; сближение России с этими странами лишало Англию континентальных союзников, в случае если англо-русские трения перерастут в вооружённое столкновение. Бисмарк, поддерживая союз, рассчитывал тем самым добиться невмешательства России в подготовляемой им новой франко-германской войне. Таким образом, цели обеих держав, вступивших в союз, были весьма различны. Между Горчаковым и Бисмарком началась сложная дипломатическая борьба, которая осталась приметной вехой в истории мировой политики.
Постепенно нарастая, эта борьба проявилась уже в берлинских переговорах. «Железный канцлер» предпринял попытку использовать в своих целях встречу трёх императоров, изобразив свидание в Берлине как заговор против Франции. Однако Горчаков помешал планам Бисмарка. Тогда же он встретился с французским послом в Берлине Гонто-Бироном и ясно дал ему понять, что Россия не поддержит агрессивных намерений Германии. Касаясь реформы французской армии, которая приводила Бисмарка в неистовый гнев, Горчаков сказал: «Вы делаете то, что вы считаете нужным, и вы правы. Я вам говорил и повторяю: нам нужна сильная Франция».
Германским политикам не удалось сходу добиться желанной цели. Международная печать, подробно освещавшая те события, справедливо расценивала итоги переговоров в Берлине как несомненную дипломатическую неудачу германского канцлера, которому не удалось добиться изоляции Франции. Бисмарк после этого с раздражением заметил английскому послу, что Горчаков «действует ему на нервы своим белым галстуком и претензией на остроумие». (При всём своём раздражении Бисмарк не потерял присущей ему наблюдательности: Горчаков, действительно, всю жизнь имел слабость к изысканной одежде, тщательно следил за модой, а в беседах отличался сдержанным остроумием).
Русская дипломатия поспешила воспользоваться сближением с Берлином и Веной. 24 апреля 1873 года в Петербурге была подписана русско-германская военная конвенция о взаимной помощи. Вслед за тем царь заключил с императором Австро-Венгрии договор о «совместной линии поведения». Этот договор имел, однако, самый общий характер. Русско-австрийские противоречия на Балканах могли проявиться в любой миг. Горчаков считал, что Союз трёх императоров, покоившийся на непрочной основе, к концу семидесятых годов утратил своё значение, и он был, безусловно, прав.