В подобной обстановке российскому правительству ничего не оставалось, как согласиться на созыв международного конгресса. Было очевидно, и в Петербурге понимали это, что России придётся отступить. От русских дипломатов зависело теперь, как велико будет отступление. Андраши предложил создать конгресс в Вене. Горчаков, учитывая враждебную позицию Австро-Венгрии, непререкаемо отказался, и местом конгресса был избран Берлин. Маячила хоть некоторая надежда, что Бисмарк, заинтересованный в «Союзе трёх императоров», хоть как- то поможет.
Горчаков в это время только что перенёс тяжёлую болезнь, здоровье его серьёзно пошатнулось. Никто не осудил бы престарелого и заслуженного деятеля, останься он дома, но... Тем не менее он возглавил русскую делегацию в Берлине. 1(13) июля 1878 года открылся Берлинский конгресс с участием России, Германии, Англии, Франции, Австро-Венгрии, Турции и Италии. Председательствовал Бисмарк. Он не оказал никакой поддержки России, всячески подчёркивая свою «беспристрастность». Русская дипломатия на конгрессе находилась в трудном положении, по сути — опять против всей Европы.
Ни для кого не оставалось тайной, что Горчаков был лишь номинальной главой российской делегации. Плохое состояние здоровья не позволяло ему даже присутствовать на всех заседаниях. Восьмидесятилетний русский канцлер уже не обладал былой живостью ума и твёрдостью. Основную роль в русской делегации на конгрессе играл П.А. Шувалов — теперь уже посол России в Англии. Отношения между дряхлым Горчаковым и самоуверенным Шуваловым сделались очень натянутыми, что также не могло способствовать успеху русской демократии.
Единодушное противодействие почти всех западных держав привело к тому, что Россия лишилась многих завоеваний, достигнутых в результате кровопролитной войны. Неудачам русской дипломатии способствовали и серьёзные промахи Горчакова, допущенные им в ходе переговоров. В значительной мере вследствие его ошибок России пришлось пойти на более существенные уступки по сравнению с Сан-Стефанским договором. Так, в беседе с премьер-министром Англии Дизраэли Горчаков по оплошности показал ему секретную карту, на которой были обозначены максимальные для России размеры пограничных уступок в пользу Турции. Англичане, разумеется, ловко воспользовались этой неожиданной «любезностью».
Неловкий случай попал в газеты, стал достоянием репортёрского острословия. Не станем уж пересказывать эти анекдоты, но вывод несомненно прост: нельзя уважаемому деятелю ставить себя перед такой возможностью.
По решению Берлинского конгресса территориальные приращения Черногории и Сербии были доведены до минимальных пределов. Размеры Болгарского государства также значительно уменьшились. Австро-Венгрия оккупировала Боснию и Герцеговину. Правда, России возвращалась южная часть Бессарабии и Турецкая Армения, но зато Британия, не выстрелив ни разу, приобретала остров Кипр — ключ к Восточному Средиземноморью. Горчаков с горечью доложил Александру И, что Берлинский конгресс есть «самая чёрная страница» в его служебной карьере. Старого дипломата едва ли могло утешить, что царь написал против этих слов его доклад: «И в моей также»...
Георгий Чичерин: «Вскоре после Берлинского договора английские войска произвели вторжение в Афганистан. Эмир Шир-Али решил лично отправиться в С.-Петербург, но 9 февраля 1879 года, не доехав даже до Ташкента, он скончался.
В 1879 году, 22 и 23 августа, состоялось совещание императора Александра II и Вильгельма I в городе Александрове. Той же осенью Германия и Австро-Венгрия заключили друг с другом оборонительный союз.
В том же 1879 году, летом, была предпринята экспедиция для покорения Ахал-Текинского оазиса. В 1880 году начался второй поход под начальством ген.-адъютанта Скоблева... Население отказывалось от противодействия и просило о принятии его в подданство русского царя.
В эти годы, после Берлинского конгресса, кн. Горчаков, вследствие старости и болезни, мало принимая деятельного участия в непосредственном руководстве дипломатическими делами и по долгу, пребывал за границею. 28 марта 1882 года он всемилостивейше уволен, согласно желанию, по совершенному расстройству здоровья, от лежащих на нём обязанностей по Министерству иностранных дел, с оставлением в звании Государственного канцлера и члена Государственного совета».
Государь император Александр Николаевич умел подбирать дельных сотрудников. В этом смысле его вполне можно сравнить с прабабкой Екатериной Великой. Горчаков, его министр, мог добиться таких успехов только потому, что сильная фигура Императора Всероссийского мощно стояла за его текущими делами.