Беларусь первой взялась за дело, подписав соответствующие соглашения и предприняв практические меры по удалению ядерного оружия со своей территории. Казахстан последовал её примеру после двух-трёх месяцев колебаний. Отчасти потому, что президент Назарбаев пытался выторговать у России или у США какую-либо политическую или финансовую компенсацию за отказ от ядерного оружия. Наибольшие сложности возникли в переговорах с Украиной. Здесь вопрос об отказе от ядерного оружия оказался завязан в один узел с другими трудно разрешимыми проблемами в российско-украинских отношениях.
В октябре 1991 года российский вице-президент Александр Руцкой летал в Киев, чтобы обсудить цену на российский природный газ, экспортируемый в Украину и через её территорию — на Запад и в Турцию. Во время этого визита Руцкой прямо заявил о российских претензиях на Черноморский флот и базу на Крымском полуострове, прозрачно намекнув на необходимость российского суверенитета над всем этим регионом.
Когда киевские власти, как и ожидалось, резко отвергли эти претензии, Руцкой публично предупредил их, что упрямство в отношениях с Москвой, имеющей ядерное оружие, опасно. Украина в ответ на шантаж заявила, что тоже имеет ядерное оружие и будет защищать свои границы всеми средствами. После этого злополучного эпизода грубой дипломатии оба вопроса — обладание ядерным оружием и Крым — крепко связались в умах украинских политиков и свели к минимуму их участие в сфере сдерживания ядерных вооружений. Заявление Руцкого было первой угрозой на пути отказа Украины от ядерного статуса и установления дружественных российско-украинских отношений. Но настоящие нокаутирующие удары были нанесены двумя резолюциями, признающими Крым российским, которые принял Верховный Совет Российской Федерации в апреле 1992 года и повторно в марте 1993-го.
Каждый раз, несмотря на то, что Кремль не поддержал эти резолюции и подтвердил отказ России от территориальных претензий, украинский парламент отвечал российским депутатам с удвоенной жёсткостью. За этими инцидентами последовало ужесточение позиции украинских дипломатов за столом переговоров и замораживание работ по ликвидации ядерных установок в Украине. Способность России вести дела с Украиной была таким образом подорвана, и Москва обратилась за помощью к Соединённым Штатам.
Мы понимали, что передача всех советских ядерных вооружений Москве — в интересах международного сообщества и нам нужно было работать совместно, чтобы решить эту задачу. Ключ к её решению находился в руках «ядерного клуба» — США, Великобритании, Франции и Китая. Вместе с ними мы координировали усилия по денуклеаризации Украины и Казахстана. Эти вопросы были наиважнейшими на моих встречах с госсекретарём США Джеймсом Бейкером и министрами иностранных дел Соединённого Королевства и Франции, Дугласом Хердом и Роланом Дюма, в ходе их визитов в Москву в январе 1992 года. Вопросы нераспространения ядерного оружия также преобладали на моих частных встречах в Нью-Йорке на юбилейной сессии Совета Безопасности ООН, которая впервые за пятьдесят лет проходила с участием глав государств и правительств. Я поговорил с министрами иностранных дел всех членов ядерного клуба, и они обещали убедить новые независимые государств, что отказ от ядерного оружия является необходимым условием для дальнейших отношений с великими державами. Позиция Китая имела особенно важное значение для его соседа Казахстана.
Следующий шаг был сделан в мае 1992 года при активном участии госсекретаря США Джеймса Бейкера на встрече министров в рамках Совещания по безопасности и сотрудничеству в Европе (СБСЕ, позже ОБСЕ). Министры иностранных дел всех трёх республик подписали соглашение и обязались стать безъядерными странами. Одновременно в Лиссабоне были предприняты особые международные усилия с целью обеспечить занятость бывшим советским учёным-ядерщикам в России и других странах СНГ, чтобы у них было меньше стимулов уезжать на работу по контрактам в такие страны, как Ирак или Иран. Эта инициатива получила название «КГБ» по первым буквам фамилий министров иностранных дел России, Германии и США — моей, Геншера и Бейкера. Ироничную аббревиатуру предложил Ганс-Дитрих Геншер.