Конечно, позднейший рассказ — не протокол и не может быть безусловно точен, но отсюда видно, в сколь тяжёлых условиях, приходилось действовать Горчакову. Помощи из Петербурга ждать ему не приходилось, скорее наоборот. В июле 1854 года союзники предложили Николаю I заключить перемирие и начать переговоры при условии принятия Россией следующих «четырёх пунктов»: отмена русского протектората над Дунайскими княжествами; отказ от исключительного покровительства живущим в Турции христианам; свободное плавание по Дунаю судов всех великих держав; пересмотр режима черноморских проливов. В это же время Горчаков узнал о секретных переговорах между Францией и Австрией. Правильно учитывая тяжело складывающуюся для России обстановку, Горчаков советовал Николаю I принять «четыре пункта». Однако к этому разумному предложению в Петербурге не прислушались. В августе Горчаков получил от Нессельроде официальный ответ, где заявлялось о категорическом отказе от принятия «четырёх пунктов». Скрепя сердце, он должен был это исполнить.
И вот 2 сентября 1854 года большая англо-французская армия высадилась в Крыму около Евпатории и повела наступление на Севастополь. Началась героическая оборона города. Тяжёлое положение русских войск в Крыму придало храбрости австрийским дипломатам. Горчаков сообщал в Петербург 7 октября: «Я держусь самого дурного мнения о намерениях венского кабинета относительно нас». Усилилось и давление на австрийское правительство со стороны западных держав. «Если союзники будут иметь решительный успех в Крыму, — писал Горчаков, — Австрия сделает всё, чего они от неё ни потребуют». Так оно и было.
Николай I и Нессельроде согласились на условия «четырёх пунктов», но было уже поздно. Когда Горчаков сообщил об этом Буолю, тот недвусмысленно дал понять, что теперь обстановка изменилась и соответственно изменились условия союзников. А через несколько дней, в начале декабря 1854 года, в Вене был подписан договор о союзе Австрии с западными державами. Не решаясь всё объявить войну России, австрийское правительство предложило начать в Вене совещание воюющих сторон на уровне послов, в котором, разумеется, должен был участвовать и представитель Австрии. Австрийские политики надеялись без единого выстрела получить новые приращения к «лоскутной монархии», другого пути у них не было.
Заседание с участием Горчакова, Буоля, английского и французского послов состоялось только 28 декабря. Союзники не спешили с началом переговоров, пока их войска не добились решающей победы в Крыму. В Вене они стремились лишь прощупать, насколько велика уступчивость России. От твёрдого поведения Горчакова зависело многое. Уже на первом заседании стало ясно, что представители западных держав намерены предъявить России гораздо большие требования, чем те, что содержались в «четырёх пунктах». Горчаков уступал в мелочах, но решительно отказывался от каких бы то ни было ограничений суверенных прав России. Это касалось прежде всего так называемой «нейтрализации» Чёрного моря, о которой заговорили представители Англии и Франции.
На переговорах Горчаков держался подчёркнуто гордо и даже вызывающе, показывая тем самым, что военные неудачи не меняют положения России как великой державы. Позже он вспоминал о той труднейшей для него поре:
«На Венском конгрессе за Россию говорил только я, её слуга и представитель; против же России было всё и все. Мои защитительные речи, вся моя борьба с противниками во всей подробности излагалась в иностранных газетах; у нас же в России Нессельроде распорядился, чтобы печатали одни лишь резолюции... Нессельроде даже и не хотел посылать меня в Вену... Бруннова» (естественно, одного из «своих»).
В начале 1855 года состоялось ещё несколько заседаний конференции послов. Гончаров пытался найти приемлемый для России вариант договора на основе «четырёх пунктов». Он запросил Николая I об указаниях. Ему не ответили: царское правительство не хотело признавать своё поражение. Не очень настаивали на заключении мира и союзники. Война продолжалась, дипломатия зависела от её исхода.
18 (30) февраля 1855 года скоропостижно умер Николай I. В Лондоне, Париже и Вене в первое время оживились надежды, что от нового царя Александра II легче будет добиться больших уступок при заключении мира, но в Петербурге не пожелали уступать. Союзники напрягли силы, и 28 марта начались новые ожесточённые бои под Севастополем. Конференция зашла в тупик, послы перестали собираться.
Всё это время Горчаков тяжело переживал неудачи России. Ему пришлось преодолевать проволочки англо-французской дипломатии, вызывающее поведение Буоля, негибкое (мягко говоря!) руководство российской внешней политикой. Горчаков с горечью говорил одному из участников Севастопольской обороны: «Вы не имеете права сомневаться в правдивости моих слов, если я скажу, что предпочёл бы стоять простым солдатом с ружьём на бруствере самого угрожающего пункта, например на четвёртом бастионе, чем быть представителем России на Венской конференции». Пятидесятисемилетний князь тут не кривил душой.