Большевистские советские организации призывали превратить синагоги в рабочие клубы, субботу отмечать ударным трудом, а выходной день перенести на среду. В 1923 г. накануне праздника Песах руководство Евсекции обратилось к трудящимся с воззванием — обратить еврейские праздники в декаду антирелигиозного террора: «Мы должны бросить в лицо еврейскому духовенству такие материалистические истины, чтобы оно не знало, куда повернуться. Что думают про это Мазе и его клика? Еврейские рабочие по большей части отошли от религии».
В ответ раввин Я. И. Мазе выступил в Большом молитвенном зале и напомнил, что синагога была закрыта по приказу великого князя и открыта по настоянию общественности: «Наша синагога является мерилом свободы в этой стране; все взоры культурного мира следят за судьбой нашей синагоги, и по ней будут судить о политическом состоянии страны».
В эти годы авторитет Мазе в национальной среде был очень высок, и его слова были услышаны. Власти закрывали молитвенные дома и изымали ценности из синагог, но главный еврейский духовный центр ликвидировать не осмелились. Возможно, сказалась позиция зарубежных благотворительных организаций, и прежде всего «Джойнта», поддержка которых была необходима молодому советскому государству. Московский раввин возглавил работу по сбору средств голодающим России, и одно из обращений к мировой общественности подписали патриарх Тихон и раввин Мазе.
4 июля 1921 г. состоялась встреча А. М. Горького и Я. И. Мазе; оба взволнованно говорили о кровавых погромах на Украине, о вспышке антисемитизма в центре России. Возможно, писатель помог Я. Мазе и главному раввину Поволжья профессору В. Лейкину встретиться в июле того же года с В. И. Лениным. В беседе принимали участие Л. Б. Каменев и М. И. Калинин. О встрече духовных лидеров с руководителями советского государства сообщила в 1922 г. газета «Еврейская трибуна», выходившая в Берлине: «Калинин спросил, почему „евреи не идут рука об руку с коммунистами, так как после революции они много приобрели“. Раввин ответил: „Идеал равенства и справедливости не чужд еврейской религии. Но все зависит от тактики. Мы хотим работать путем воспитания и просвещения народа, а вы — при помощи меча“».
Я. И. Мазе, раввин, публицист, общественный деятель, скончался 20 декабря 1924 г. Тело покойного было перенесено в Большой молитвенный зал синагоги, и хотя московские газеты отказались опубликовать некролог, тысячи людей пришли отдать долг памяти высоко почитаемому человеку. Один из участников траурной церемонии, Моше Барселл, впоследствии вспоминал: «В установленный час появляются люди у Большой синагоги. Со всех улиц стекались евреи. Бесконечной вереницей шел народ оказать последнюю честь своему почетному и уважаемому лидеру, который был для него долгие годы духовным оплотом. Когда похоронная процессия вышла из переулка на улицу, то трамвайное и извозчичье движение приостановилось. По случаю воскресного дня было много русских, гулявших по улицам Москвы, и многие спрашивали: „Кто скончался?“ — и кто-то в толпе ответил: „Еврейский патриарх скончался“». Раввина похоронили на Дорогомиловском кладбище; в 1932 г. его останки были перенесены с уничтоженного некрополя на новую территорию кладбища в Востряково.
В 20-е годы еврейское население в Москве резко возрастает; беженцы из разоренной, голодной Украины заселяют окраинные районы города. В 1923 г. в Москве было официально зарегистрировано 87 975 евреев. Значительная часть населения оседает в ближайших пригородах столицы. Открываются новые общественные национальные центры: на Лесной улице, 18, работал Еврейский клуб с различными фольклорными ансамблями и кружками; в послереволюционной Москве существовали кошерные столовые, и в городской толпе резко выделялись люди, говорившие между собой на идише; газеты пестрели рекламными объявлениями: «Еврейские домашние обеды Б. С. Житомирской. Никольская, 8. Свежие и вкусные. К еврейской пасхе колбаса, гусиный жир, печенье, маца — Петровка, Петровские линии, 2».