В начале 20-х годов Вышинский проявляет исключительную активность. Не оставляя службы в Наркомпроде, он несколько месяцев пробыл в только что организованной коллегии защитников и одновременно вел научно-педагогическую деятельность в Институте народного хозяйства, где одно время был даже деканом экономического факультета. Непродолжительное время работал также в Наркомтруде и Главпрофобре. Переломным в его карьере становится 1923 год. Именно тогда он выступил в качестве общественного обвинителя на одном из крупных процессов «церковников». Прокурорская трибуна пришлась по душе бывшему помощнику присяжного поверенного. Вскоре Вышинский становится прокурором уголовно-судебной коллегии Верховного суда РСФСР, где и работает до 1925 года. Теперь он часто выступает в судах и может сколько угодно оттачивать свое ораторское мастерство.
Весной 1923 года в Верховном суде республики под председательством Сольца слушалось дело по обвинению в злоупотреблениях директора-распорядителя Государственной экспортно-импортной торговой конторы при Наркомвнешторге Когана, его заместителя Зельманова, заведующего торговым отделом Майзеля и других (всего перед судом предстали 12 человек). Вышинский поддерживал обвинение по этому громкому для того времени делу. В суде было установлено, что руководители Госторга, имея монопольное право внешней торговли, закупали за границей товар, а затем продавали его частным лицам, выдававшим себя (по подложным документам) за представителей государственных или кооперативных организаций. Например, некий Кривошеин под видом уполномоченного продовольственного отдела ВЦИК, закупил в Госторге девять вагонов американского сала по одной цене, а перепродал «Уралплатине» по более высокой, получив таким образом солидный «навар».
Антигосударственная деятельность руководителей Госторга была очевидной, однако поспешно проведенное следствие не выявило бесспорных улик в личной заинтересованности подсудимых (были лишь намеки на полученные ими крупные взятки). В судебном заседании Вышинский доказывал, что хотя и не установлены факты корысти со стороны подсудимых, однако все обстоятельства так и «кричат» о том, что «здесь пахнет жареным». Защитники Членов и Меранвиль категорически возражали против такого обвинения, напоминая, что его можно строить только на «граните фактов». Однако их доводы не убедили судей и возобладала точка зрения обвинителя. Через 12 дней суд вынес приговор. Коган и Зельманов были приговорены к расстрелу, а остальные подсудимые — к различным срокам заключения.
В мае 1924 года в течение двух недель выездная сессия Верховного суда РСФСР слушала в Ленинграде грандиозное дело судебных работников. Прокурорскую трибуну вновь занял Вышинский. Для него этот процесс оказался как нельзя более кстати. Он окунулся в родную стихию, где беспрепятственно мог оттачивать свое остроумие и красноречие, ведь «громить» приходилось коллег-юристов. Скамью подсудимых заняли 42 человека. В их числе были 17 следователей, судей и других служителей Фемиды, в частности бывший следователь военного трибунала Ленинградского военного округа, заместитель председателя кооператива Ленинградского совета народных судей Сенин-Менакер, исполнявший обязанности начальника следственного отдела Ленинградского губернского суда Кузьмин, старшие следователи Шаховнин, Михайлов, Копичко, народные судьи Пахомов и Тевелев, прокурор Цыбульский, члены коллегии защитников при Ленинградском губернском суде Бродянский и Масинзон. Вторую группу подсудимых составляли 25 нэпманов, владельцев магазинов и частных лиц.
Как было отмечено в обвинительном заключении, «группа судебных работников г. Ленинграда по предварительному между собою сговору, в нарушение своего служебного долга, явно подрывая авторитет судебной власти, в целях личного обогащения вступила на путь систематического взяточничества». Для этого, по версии следствия, они вошли в связь с нэпманами и «различными преступными элементами», заинтересованными в прекращении своих дел. Суммы взяток колебались от 650 рублей до 39 тысяч рублей. Собственно говоря, прямой связи между всеми подсудимыми не было. В этом деле были искусственно соединены материалы о нескольких преступных группах. Однако такое нагромождение было только на руку обвинителю. Вышинский говорил вдохновенно и с большим пафосом: «Взятка сама по себе — гнуснейшее орудие разврата, но она становится чудовищной, когда дается следователю или работнику юстиции. Ведь едва ли можно вообразить что-либо ужаснее судей, прокуроров или следователей, торгующих правосудием. Суд — один из величайших устоев государственного строительства. Разложение судебно-прокурорских работников, разложение суда — величайшая опасность для государства!..»
Вышинский поддержал обвинение в объеме, сформулированном следствием, в отношении всех подсудимых, за исключением Масинзона и Лондона, но все же просил суд учесть их «преступные связи». В заключение своей речи Вышинский вспомнил древнеиндийскую мудрость, гласящую: «Наказание бодрствует, когда люди спят». Он сказал: «Наказание — это сама справедливость. Вот этого наказания я и требую для подсудимых именем нашей Республики. Я требую сурового наказания, беспощадного наказания, которое разразилось бы здесь грозой и бурей, которое уничтожило бы эту банду преступников, посягнувшую на честь судейского звания, запятнавших своими преступлениями великое имя советского судьи. Я требую беспощадного приговора. Пусть этот приговор очистительной грозой пронесется над головами преступников... Я требую расстрела всех главных виновников...»
Верховный суд республики счел недоказанной вину лишь двух подсудимых — Левензона и Матеди, которых и оправдал. Остальных приговорил к конкретным мерам наказания, в том числе 17 человек — к расстрелу.
В качестве прокурора Вышинский выступал на многих крупных процессах 20-х годов, таких как дела работников морского хозяйственного управления, Главного управления коневодства, Консервтреста и др.
Вышинский не только поддерживал обвинение в суде, но и активно занимался творчеством. Из-под его пера одна за другой выходят статьи и книги. Он опубликовал две части «Очерков по истории коммунизма» (1924 и 1925 гг.), книгу «Суд и карательная политика Советской власти (1925 г.) и другие. В № 29 «Еженедельника советской юстиции» за 1923 год появилась его публикация «Еще раз о статье 114-а УК», в которой он полемизирует с редакцией журнала, поместившей на своих страницах неправильное, с его точки зрения, разъяснение о том, подлежит ли уголовной ответственности лицо, давшее взятку человеку, присвоившему себе не принадлежащее ему должностное звание. В статье «Дисциплинарные суды и должностные преступления» он приветствовал опубликование «Положения о дисциплинарных судах», считая его «громадным шагом вперед по пути упрощения и улучшения судебного дела». По его мнению, именно отсутствие дисциплинарного суда, «легко настигающего правонарушение», представляет собой существенный изъян в системе органов, борющихся с правонарушениями. «Тяжесть положения усугубляется еще и значительным несовершенством нашего еще молодого и недостаточно пропахшего пороховым дымом судебного быта Уголовного кодекса, — пишет Вышинский. — Рожденный в правовой борьбе против эксплуататоров, наш Уголовный кодекс рубит широко, его огненные удары грубы и резки, как сама революция». Вышинский выражал надежду, что в «лице дисциплинарных судов государство получит новое и сильное оружие борьбы с бюрократическими извращениями, неуловимыми, разнообразными, ядовитыми».
В 1925 году Вышинский покинул прокуратуру. Ученый совет Московского государственного университета избрал его своим ректором. К этому времени он был уже профессором. Наряду с выполнением обязанностей ректора, он читал лекции по уголовному процессу на юридическом факультете, на основе которых издал учебник «Курс уголовного процесса». В эти же годы состоял членом комиссии законодательных предположений при Совнаркоме СССР.