В декабре 1938 года Ежов был смещен с поста наркома внутренних дел. Вслед за этим началась «чистка» самих органов внутренних дел. Были арестованы и затем расстреляны бывший нарком Ежов, его заместители Фриновский, Заковский, Реденс, руководители многих отделов наркомата и областных отделов НКВД, следователи, занимавшиеся политическими делами.
Вышинский быстро сориентировался в новой обстановке и сразу же натянул на себя тогу «радетеля за законность». Он даже внес предложение в 1ДК ВКП(б) и Совнарком СССР об изъятии из ведения Особого совещания дел о контрреволюционных преступлениях и передачи их в суды. Он быстро «сдал» и некоторых прокуроров якобы за «причастность» к массовым необоснованным арестам. Тогда были осуждены судебнопрокурорские работники Омской, Восточно-Казахстанской, Смоленской и некоторых других областей. Он стал поддерживать и начавшуюся реабилитацию ранее осужденных лиц, хотя массовое освобождение их из тюрем и лагерей произошло уже при Прокуроре Союза ССР Панкратьеве.
Теперь он и на всех проводимых совещаниях «громил» прокуроров, допускающих осуждение невиновных лиц, приводя действительно творившиеся на местах (как, впрочем, и в центре) «дичайшие» случаи беззакония и произвола. На собрании актива работников Прокуратуры СССР, Прокуратуры РСФСР, Московской городской и областной прокуратур, проходившем 28 января 1938 года в здании на Пушкинской улице, А. Я. Вышинский сделал доклад «О некоторых недостатках в работе прокуратуры и мерах по их устранению». Прокурор Союза с присущим ему пафосом говорил о происках «искусно замаскированных врагов», которые более всего кричат о бдительности, а сами только и стремятся, «путем проведения репрессий перебить большевистские кадры». Он упрекнул прокуроров за то, что они слишком пассивны и не вмешиваются, когда людей, исключенных из партии за какие-либо проступки, но не признанных преступниками и не осужденных, изгоняют с работы и выселяют из квартир. Подчеркнув, что ответственность должны нести только лица, чья виновность установлена,
Вышинский стал говорить о положении дел в следственной части, о грубых промахах и ошибках при предании некоторых лиц суду. Он привел и некоторые «яркие» примеры.
В Ленинградской области колхозник был осужден только за то, что «зайдя к соседу и не застав его дома, взял стоявшую на столе бутылку водки». Сторожа колхоза приговорили к одному году исправительно-трудовых работ за халатность, так как «во время его дежурства погибла корова от преждевременного отела».
В Курской области (Вышинский при этом сделал акцент на том, что прокуратуру там возглавлял «изменник», сгруппировавший вокруг себя «целую группу врагов») было создано такое «дело». На нескольких колхозников напал бык, который, как отмечалось в документах, «обычно бросался на людей». Те, естественно, стали отгонять его кто кнутом, кто хворостиной. От быка отбились, не причинив ему, впрочем, никакого вреда. Казалось бы, все обошлось благополучно. Но, к несчастью колхозников, на другой день этот бык, как было написано в обвинительном заключении, «отказался покрывать коров». Поэтому против селян, с трудом отбившихся накануне от разъяренного быка, возбудили уголовное дело по статье 79-1 УК РСФСР (умышленное изувечение скота с целью подрыва коллективизации сельского хозяйства и воспрепятствования его подъему). Их судили и приговорили к исправительно-трудовым работам.
В той же Курской области двух человек осудили по части 2 статьи 74 УК РСФСР (как за особо дерзкое хулиганство), вменив им в вину то, что они, «находясь в подпитии» и выступая на собрании, «говорили не по существу».
А в Баку был устроен грандиозный показательный процесс над группой школьников от 8 до 18 лет. Обвинительное заключение было внушительное – на 108 листах. В чем конкретно провинились ребята, красноречиво свидетельствуют, в частности, такие эпизоды их «преступной деятельности».
Двое 13-летних мальчиков обвинялись в «злонамеренном укрытии берета одной девочки». Другие подростки попали под суд лишь за то, что они «ловили детей на улице», чем якобы нарушали общественный порядок (дети просто играли в так называемые «салки» или «пятнашки»). Прокурор, бывший одним из устроителей этого «процесса», явился на него в нетрезвом виде, а когда ребятишки-подсудимые стали кричать, что прокурор пьян, он вытащил из кармана наган и стал с его помощью «прокладывать себе дорогу к прокурорскому месту».
В связи с «кадровым голодом» (текучесть кадров из-за сплошных репрессий и гонений, мизерной зарплаты и тяжелых условий труда к началу 1939 года достигала 25–50 процентов) Вышинский обратил свой взор на так называемых «социалистических совместителей», которые должны были хоть как-то заткнуть образовавшиеся кадровые бреши.
Соцсовместители особенно популярными стали после XVII съезда ВКП(б), который указал на необходимость «развернуть и качественно поднять оправдавшее себя шефство предприятий над госучреждениями и социалистическое совместительство работы на производстве с работой в госучреждениях». Они, по существу, были общественными помощниками прокуроров и следователей и выполняли те или иные их поручения: проверяли заявления и жалобы, составляли проекты документов (в частности протестов и др.), выступали наряду с прокурором в суде в качестве обвинителей и т. п. Нередко в последующем соцсовместители переходили на работу в органы прокуратуры.
4 апреля 1939 года в Прокуратуре Союза ССР состоялось совещание соцсовместителей – рабочих московских заводов им. 1905 года и «Динамо» имени Кирова. Доклад сделал сам Вышинский. На совещании выступили соцсовместители, работавшие в отделе жалоб, гражданском и уголовно-судебном отделах Прокуратуры Союза ССР, железнодорожной прокуратуре и др. О своей работе в прокуратуре поделились впечатлениями мастера кузнечного и вагонно-пассажирского цехов завода им. 1905 года К. И. Чумаков, А. Г. Лашенков и Я. Ф. Самохвалов, член завкома завода «Динамо» В. В. Баранов, мастер сталелитейного цеха, плановик цеха машинно-постоянного тока и приемщик продукции 2-го аппаратного цеха этого же завода Н. В. Трифонов, С. И. Лисенков и С. М. Сметанников.
После этого совещания Вышинский издал приказ от 16 апреля 1939 года «О мероприятиях по усилению работы органов прокуратуры с активом», в котором предложил широко развернуть организацию групп содействия на предприятиях, в колхозах и учреждениях, а также по привлечению в органы прокуратуры соцсовместителей. Он поставил задачу, чтобы в каждой районной и городской прокуратуре было по 1–2 соцсовместителя, а в прокуратурах краев и областей – минимум по 10–15. Наряду с этим предложил в двух-трехмесячный срок вовлечь 60-100 соцсовместителей в работу Прокуратуры Союза ССР.
Вышинский ревностно исполнял свои обязанности, стараясь преданным служением «отцу народов» загладить свое меньшевистское прошлое и боясь, что ему припомнят не только «грехи молодости», но и деяния настоящего. Ведь он знал очень многое. Не мог Вышинский не помнить и о том, какая судьба постигла Николая Васильевича Крыленко, которого он сменил в 1931 году на должности Прокурора РСФСР. Однако Вышинского, как ни странно, не репрессировали.
Незаметно оставив свой пост, в 1940 году Андрей Януарьевич уходит «в дипломатию» и становится заместителем наркома иностранных дел – ведь он прекрасно знал многие европейские языки, имел острое мышление и был хорошо образован.
С первых дней работы в Наркоминделе Вышинский занимался отношениями СССР со странами формировавшейся антигитлеровской коалиции, прежде всего с Великобританией.
В октябре 1943 года в Москве состоялась конференция министров иностранных дел СССР, США и Великобритании, которая рассматривала вопросы сокращения сроков войны против гитлеровской Германии и открытия второго фронта. Для участия в работе Европейской консультативной комиссии Вышинский выехал в Алжир. В феврале 1945 года Андрей Януарьевич Вышинский – член советской делегации на Ялтинской конференции руководителей трех союзных держав.