В июне 1955 года Александр Михайлович Сахаровский был назначен исполняющим обязанности, а с мая 1956 года — начальником Первого главного управления КГБ при СМ СССР (внешняя разведка) и проработал на этом посту до середины 1971 года. Одновременно с сентября 1959 года стал членом Коллегии КГБ при СМ СССР.
Часто изменяющаяся международная обстановка требовала от начальника разведки поиска новых методов и перестройки работы резидентур внешней разведки. Именно при Сахаровском получили активное развитие такие линии разведки, как контрразведывательная, научно-техническая, нелегальная. Он уделял много внимания подготовке кадров разведчиков, организации научно-исследовательской работы в ПГУ.
Ветеран внешней разведки генерал-лейтенант В. А. Кирпиченко, долгое время проработавший под началом А. М. Сахаровского, в своих мемуарах подчеркивал:
«Сахаровского отличала внешняя и внутренняя строгость, к людям он относился требовательно, но без мелочной придирчивости. Побаивались его все, а особенно, конечно, лентяи и подхалимы. Этих он очень не любил. Доверием к окружающим проникался не сразу, лишь после долгого испытания их практической работой. О ветеранах, людях заслуженных, заботился и всячески их поддерживал.
Работал Александр Михайлович допоздна, во все старался вникать сам. Он не обзаводился впрок полезными связями в верхах и вообще не способен был жить по формуле «ты — мне, я — тебе». Создавалось впечатление, что он очень ценил свою личную независимость и потому был весьма осторожен в выборе друзей.
Говорил он просто, ясно, мысли выражал четко и лаконично, отчего слова его надолго запоминались. Случилось так, что еще в качестве заместителя начальника разведки Сахаровский давал мне напутствие перед выездом в первую долгосрочную загранкомандировку. В числе других полезных советов он рассказал, как следует готовиться к проведению встреч с агентурой и изучаемыми лицами из числа иностранцев. Говорил вроде бы уже известные мне вещи, но формулировал их так, что его наставления я запомнил почти дословно, и не только сам следовал им, но использовал их позже в беседах с молодыми сотрудниками».
В критических случаях А. М. Сахаровский делал все возможное, чтобы вернуть на родину попавших в беду боевых товарищей. В межведомственных коллизиях всегда вставал на защиту своих сотрудников. Не боялся брать на себя ответственность при принятии решений. Среди ветеранов внешней разведки хорошо известен, например, такой случай. В одной из ведущих натовских стран Европы работал опытный и сильный разведчик Никита Дерябкин. По прикрытию он занимал скромную должность технического сотрудника советского посольства. А по линии разведки на него возлагались ответственные задачи по поддержанию связи с наиболее ценной агентурой. Как-то раз после прошедшего в Москве очередного съезда КПСС в посольство с дипломатической почтой поступили две упаковки. В одной из них содержались портреты вновь избранных членов Политбюро, в другой — запасные детали к посольскому радиопередатчику. Причем упаковка с деталями в ходе транспортировки была повреждена, и Москва дала указание ее возвратить. В связи с тем, что дипкурьеры сразу же собирались в обратный путь, Дерябкин, принимавший участие в получении почты, быстро написал сопроводительную записку («Возвращаем за ненадобностью…») и попросил своих коллег передать упаковку с радиодеталями дипкурьерам, а сам отправился на оперативное мероприятие.
Через несколько дней посол распорядился вывесить в актовом зале портреты нового состава Политбюро, а их не нашли… Разразился скандал. Оказалось, что именно они были случайно возвращены в Москву «за ненадобностью». В соответствующие подразделения ЦК КПСС, МИДа и КГБ ушла телеграмма, в которой посол требовал немедленно отозвать Дерябкина из командировки. Реакция А. М. Сахаровского была незамедлительной. В ответной телеграмме начальника советской внешней разведки послу сообщалось, что Дерябкин награжден орденом Ленина и он (Сахаровский) надеется, что руководство посольства присоединится к поздравлениям в адрес сотрудника резидентуры. Инцидент был исчерпан, а разведчик проработал в стране еще несколько лет.
«Сахаровский — это целая эпоха в жизни разведки, которую он возглавлял 15 лет, пройдя в ней путь от полковника до генерал-полковника.
Был он высок ростом, статен, импозантен, и сотрудницы разведки, переводчицы, машинистки, секретари, встретившись с ним в коридоре, особенно в первые годы его начальствования, провожали его восхищенными взглядами: хорош собой был начальник разведки», — вспоминал о нем генерал-лейтенант Кирпиченко.