А. Я. Сухарев всегда вел большую общественную работу. Он являлся сопрезидентом Всемирной ассоциации юристов против ядерного оружия («ИАЛАНА»), членом ученого совета Института государства и права Академии наук СССР, президиума Всесоюзного общества «Знание». Возглавлял общественный фонд «Выдающиеся полководцы и флотоводцы Великой Отечественной войны 1941–1945 годов».
В 1988 году, в самый разгар перестройки, Александр Яковлевич Сухарев был направлен на работу в Прокуратуру Союза ССР. Президиум Верховного Совета СССР своими указами от 26 февраля 1988 года назначает его первым заместителем Генерального прокурора СССР, утверждает членом коллегии Прокуратуры Союза ССР и присваивает чин государственного советника юстиции 1-го класса. Спустя ровно три месяца, 26 мая 1988 года постановлением Верховного Совета СССР, подписанным Председателем Президиума А. Громыко, А. Я. Сухарев назначается Генеральным Прокурором Союза ССР. В 1989 году он стал народным депутатом. Избирался делегатом XXVII съезда КПСС. В бурное перестроечное время А. Я. Сухарев смог продержаться в кресле Генерального прокурора СССР чуть более двух лет.
В те годы в стране предпринимались меры по преодолению так называемого «застойного периода», происходило раскрепощение экономической инициативы, расширение политической демократии, обогащение правового статуса личности. Именно на этом магистральном направлении совершенствовалось законодательство. Богаче и содержательнее становился и прокурорский надзор. На одном из заседаний коллегии Прокуратуры СССР А. Я. Сухарев говорил: «Вместо приверженности курсу «держать и не пущать» острие надзора фокусируется на предупреждении и пресечении командно-бюрократических препон, защиты прав и свобод человека, воплощение концепции «разрешено все, что не запрещено». И еще: «Нам предстоит заметно раздвинуть границы надзорной работы, настраиваясь на принцип: там, где действует закон, должен быть и надзор за законностью… Вырабатывая совершенную концепцию прокурорского надзора, мы должны четко представлять его юридическую природу. Прокуратура — не орган управления, а высшая контрольная власть за соблюдением законов».
Надо признать, что тогда органы прокуратуры, по выражению Сухарева, оказались еще «недостаточно подкованными» по целому ряду практических аспектов прав человека. В Молдавии, на Украине, в Прибалтике и Закавказье, в ряде республик и областей Российской Федерации грубо нарушались права людей, в том числе и верующих, а прокуроры на это вовсе не реагировали. В Херсонской области прокурор признал правомерным факт изъятия у верующего Библии, и по этой причине отказал в удовлетворении его жалобы. В Чувашии один человек был осужден за хранение книг «Котлован» Платонова и «Собачье сердце» Булгакова. И это было тогда, когда указанные произведения не только широко издавались, но и ставились на сцене. Прокуроры нередко смотрели на всех манифестантов (шествия и демонстрации тогда шли с размахом), как на смутьянов и нарушителей порядка.
Со всеми этими перегибами в органах прокуратуры А. Я. Сухарев повел решительную борьбу. Он говорил: «Во всем, что касается прав человека, прокуроры обязаны быть ближе к жизни, всемерно поддерживать и защищать людей с активной и здоровой социальной позицией, изучать новые явления общественной жизни».
В самый разгар перестройки начали поднимать головы экстремизм и национализм. Уже пролилась кровь в Сумгаите, завязался «карабахский узел», начались многомесячные забастовки. Все это наносило колоссальный ущерб стране. В новых условиях не на высоте оказались органы прокуратуры и внутренних дел. На заседании коллегии Прокуратуры Союза ССР А. Я. Сухарев признал, что прокуроры «проглядели националистический нарыв, не упредили разгула беспорядков». Особенно это относилось к Закавказью и Прибалтийским республикам. Некоторых прокурорских работников ему пришлось снимать с работы. «Такая политическая беспринципность и близорукость дала возможность экстремистам и некоторым номенклатурным преступникам направить недовольство людей от действительно социальных проблем, взяточничества и коррупции в русло националистического угара», — говорил А. Я. Сухарев.
Спустя несколько лет после начала перестройки в стране резко обострилась ситуация с преступностью. В первом полугодии 1989 года впервые за последние 20 лет было зарегистрировано свыше одного миллиона преступлений (на треть больше, чем за аналогичный период 1988 года). Преступность росла тогда невиданными темпами во всех союзных республиках. При этом резко увеличилось число убийств, тяжких телесных повреждений, изнасилований, разбоев и грабежей. Опасно нарастала корыстная преступность, во многом определяющая устойчивость преступных группировок как в сфере экономики, так и в уголовной среде. Участились случаи применения преступниками оружия, технических средств, их более активного противодействия правоохранительным органам. Все больше и больше стало заявлений и жалоб об угрозах и вымогательстве со стороны рэкетиров. Экономика все теснее сращивалась с преступной средой. В то же время в структуре наказаний тогда произошли кардинальные перемены. Если раньше до 70 процентов осужденных отправлялись в исправительно-трудовые колонии, то теперь эти цифры уменьшились наполовину. Получалось, что как минимум каждый второй вчерашний кандидат в тюрьму, теперь гулял на свободе.
Политбюро ЦК КПСС, Правительство СССР, рассматривая положение дел с преступностью, признавали его критическим. Правоохранительные органы, в их числе и прокуратура подверглись резкой критике. Верховный Совет СССР в своем постановлении «О решительном усилении борьбы с преступностью» признал возможным образовать для этого временные комитеты.
А. Я. Сухарев понимал, что в таких условиях нужны новые, нетрадиционные подходы к работе. На это он и настраивал своих подчиненных. Генеральный прокурор напоминал им, что от них требуется «особая проницательность и бдительность».
«Есть много симптомов бесконечного попустительства по признакам малозначительности преступлений, — говорил он, — и оно стало распространяться не только на молодежь, но и на рецидивистов». И далее: «Я понимаю, что рискую впасть в крайность, но экстремальная обстановка требует решительных мер. Мы обязаны найти адекватный ответ на стихию паразитизма и уголовщины, дать почувствовать трудящимся, что правоохранительные органы способны оградить от преступных посягательств правопорядок в наших городах, жизнь, здоровье и имущество граждан.
Мое видение ситуации таково, что до подхода основных профилактических резервов, которые, я уверен, будут сформированы на базе общегосударственной программы, надо подтянуть все юридические рычаги контроля и ответственности, широко использовать для этого гласность и общественное мнение».
Для того, чтобы выработать концепцию прокурорского надзора в условиях «революционного преобразования общества», по инициативе Генерального прокурора СССР А. Я. Сухарева 1–2 декабря 1989 года в Прокуратуре Союза ССР состоялась Всесоюзная научно-практическая конференция на тему: «Прокуратура в системе политических и правовых институтов общества». На ней присутствовали более 400 человек, представляющих все звенья и все профессии правовой системы. За два дня выступили 52 участника, в том числе 20 ученых. Среди выступивших были заместитель Председателя Совета Министров СССР Л. Абалкин, член-корреспондент Академии наук СССР Д. Керимов и др.
Рекомендации, выработанные конференцией, А. Я. Сухарев, насколько успел, претворял в практику прокурорской деятельности. С этой целью было проведено несколько коллегий по наиболее актуальным проблемам, началась радикальная перестройка функциональных обязанностей. В частности, на базе управления общего надзора были сформированы надзорные структуры в экономической, социальной и экологической сферах, создана подчиненная непосредственно центру Волжская природоохранная прокуратура и т. п.
При Генеральном прокуроре СССР А. Я. Сухареве произошло еще одно знаменательное событие — была изменена форменная одежда и введены новые знаки различия для прокурорско-следственных работников. Еще в 1954 году погоны (введены в 1943 году) были заменены плечевыми петлицами на воротнике, а лампасы исключены из формы. И вот спустя 35 лет в форменной одежде прокуроров и следователей вновь появились погоны и лампасы, правда, уже другого цвета.