Среди петербуржцев, имена которых неотъемлемо вошли в состав городской фразеологии, был корабельный подрядчик купец 1-й гильдии Абрам Израилевич Перетц. В начале XIX века он стал одним из владельцев дома № 15. В столице его хорошо знали. Газеты писали, что это был «человек ученый, знал разные иностранные языки, одевался и жил по гражданским обычаям». Наряду с судостроением предприимчивый купец попутно занимался торговлей солью. В этом деле он преуспел и вскоре стал едва ли не единственным крупным поставщиком соли к царскому двору. В петербургский городской фольклор Перетц вошел широко известным в свое время каламбуром, обыгрывавшим его экзотическую фамилию: «Где соль, там и Перетц».
Перетц имел большие связи в высших кругах русского общества. Он был женат на дочери известного ученого и мецената, управляющего светлейшего князя Г.А. Потемкина, раввина Иошуи Цейтлина. Но особенно сблизился Перетц с крупнейшим общественным и государственным деятелем времени Александра I Михаилом Михайловичем Сперанским – одним из главных инициаторов и проводников общественных и политических реформ императора в первые годы его царствования, которые Пушкин охарактеризовал как «Дней Александровых прекрасное начало». Перетца даже называли «еврейским помощником Сперанского». И когда в 1802 году по инициативе Александра I в Петербурге был образован Комитет для составления законодательства о евреях, одним из немногих евреев, получивших приглашение участвовать в заседаниях Комитета, был Абрам Израилевич Перетц.
Вместе с делегатами от еврейских общин вновь приобретенных западных земель в столицу прибыли их семьи и еврейская прислуга. Так в Петербурге возникла первая еврейская община, которая собиралась в доме Перетца на углу Невского проспекта и Большой Морской улицы. Тогда же, в 1802 году, первые петербургские евреи приобрели участок под еврейское кладбище. Он находился в лютеранской части старинного Волкова кладбища. Была заведена первая общинная книга. С этого момента можно считать, что в Санкт-Петербурге «де-факто» появились первые евреи, хотя известно, что отдельные представители этого народа жили в Петербурге и честно служили своему Отечеству еще при Петре I.
К 1826 году количество евреев в Петербурге достигло 248 человек. Начали прорастать ростки еврейского городского фольклора: «Что был раньше Петербург? Пустыня. Вот теперь Бердичев». Надо сказать, что в сознании евреев Бердичев имел особое значение. Этот город в Житомирской области Украины долгое время считался самым еврейским городом в мире. Например, в 1897 году евреи составляли 80 % от всего его населения. В еврейском фольклоре репутация Бердичева была настолько высокой, что его статус сравнивался исключительно со статусом столичных городов.
В 1821 году на третьем этаже этого дома поселился Н.И. Греч, считавшийся, благодаря сотрудничеству с Фаддеем Булгариным, литературным агентом пресловутого Третьего отделения. В литературном Петербурге иначе как «братья-разбойники» их не называли. Происхождение этого коллективного прозвища фольклорная традиция связывает с Пушкиным. Будто бы однажды на одном обеде, увидев цензора В.Н. Семенова, сидящего между Гречем и Булгариным, Пушкин воскликнул: «Ты, Семенов, точно Христос на Голгофе». Известно, что, согласно библейской версии, Христос был распят вместе с двумя разбойниками и его крест находился как раз посередине.
Другая их кличка среди петербургских литераторов была «Грачи-разбойники». Николай Иванович Греч в течение десяти лет служил в Петербургском цензурном комитете, а Булгарин, до 1825 года исповедовавший весьма демократические либеральные взгляды, после восстания декабристов занял откровенно верноподданническую охранительную позицию и заслужил в Петербурге славу беспринципного литературного осведомителя Третьего отделения.
Редакция «Северной пчелы» находилась на Мойке, в доме № 92, принадлежавшем Гречу. Здесь же размещалась и типография. Дом был открытым для всего, как тогда говорили, театрального, художественного и литературного мира Петербурга. Особенно многолюдны были «четверги», устраиваемые Гречем. В историю петербургской культуры дом вошел под именем «Гречев дом».
Николай Иванович Греч, в отличие от своего соиздателя, никогда не опускался до откровенного «литературного разбоя». Со многими собратьями по перу, в том числе с Пушкиным, он оставался корректен и сумел сохранить дружеские отношения.
Со стороны реки Мойки к дому Чичерина примыкал еще один жилой корпус. В 1858 году участок со всеми тремя домами Чичерина был приобретен Степаном Петровичем и Петром Степановичем Елисеевыми, родственниками владельцев магазинов колониальных товаров в Москве, Петербурге и других городах России. В 1859–1860 годах корпус со стороны Мойки был капитально перестроен архитектором Н.П. Гребенкой. Тогда же он получил собственный адрес: набережная реки Мойки, 59.