Многосложный рисунок герба является иллюстрацией к древней ирландской легенде о короле из рода О’Лейнов. Согласно легенде, умирая, король поделил все свое имущество между сыном и дочерью. Но брат, помня о старинном предсказании, что ирландский престол займет женщина, после смерти отца схватил сестру и бросил в клетку с медведями. Девушка не погибла. Она протянула медведям благоухающую розу и пленила их сердца. Тогда брат, смягчившись, выпустил сестру, но вскоре сам погиб. Сестра стала королевой Ирландии, но продолжала жить среди медведей. У О’Лейнов были враги, которые претендовали на трон, и поэтому начали преследовать девушку. Тогда, чтобы спасти ее, медведица посадила ее на спину и переправилась с ней через пролив во Францию. А уж потом потомки королевы перебрались в Польшу, а затем, при царе Алексее Михайловиче, — в Россию, где стали Олениными.
Заслуживает внимания и родословная супруги Оленина Елизаветы Марковны. Ее мать, Агафоклея Александровна Полторацкая, в девичестве Шишкова, происходила из помещичьего сословия. В свое время она стала супругой мелкопоместного украинского дворянина М. Ф. Полторацкого. По свидетельству современников, Агафоклея Александровна была необыкновенной красавицей и однажды удостоилась даже кисти самого Д. Г. Левицкого.
Вместе с тем в Петербурге она была широко известна своей необыкновенной жестокостью. Говорят, не могла спокойно заснуть, если слух ее не насладится криком избиваемого человека. Причем приказывала пороть за малейшую провинность равно как дворовых людей, так и собственных детей.
В столице ее прозвали Петербургской Салтычихой, от прозвища помещицы Подольского уезда Московской губернии Дарьи Салтыковой, собственноручно замучившей около ста человек. В 1768 году, за полвека до описываемых нами событий, Салтычиха за свою жестокость была осуждена на заключение в монастырскую тюрьму, где и скончалась. Имя ее стало нарицательным.
Если верить фольклору, пытались наказать и Петербургскую Салтычиху. Говорят, едва взошел на престол Александр I, как по городу разнесся слух, что государь, наслышавшись о злодействах Полторачихи, «велел наказать ее публично на Дворцовой площади». Весть тут же разнеслась по всему городу, и толпы народа бросились посмотреть на эту экзекуцию. Полторачиха в это время сидела у своего окна. Увидев бегущих людей, она спросила: «Куда бежите, православные?» — «На площадь, смотреть, как Полторачиху будут сечь», — ответили ей. «Ну что ж, бегите, бегите», — смеясь, говорила им вслед помещица. По другой легенде, придя в ярость оттого, что ее якобы собираются наказать плетьми, она приказала запрячь коней и вихрем понеслась по площади с криком: «Подлецы! Прежде чем меня выпорют, я вас половину передавлю».
В Петербурге Агафоклея Александровна владела огромным участком земли между Обуховским (ныне Московским) проспектом, Гороховой улицей, рекой Фонтанкой и Садовой улицей. У нее было три дочери, которым она и разделила свои земли в приданое. Часть этого участка получила одна из них — Елизавета Марковна, которая вышла замуж за будущего директора Публичной библиотеки и президента Академии художеств Алексея Николаевича Оленина.
Сам Оленин родился в Москве и впервые в Петербурге появился в 1774 году. Здесь он воспитывался у своей родственницы Е. Р. Дашковой, которая в то время возглавляла Петербургскую академию наук. Смышленого мальчика заметила Екатерина II. Она приказала записать его в Пажеский корпус. За три года до выпуска по повелению императрицы Оленин отправился за границу «для совершенствования знаний в воинских и словесных науках». Там он учился сначала в артиллерийском училище, а затем в Дрезденском университете. Параллельно небезуспешно занимался языками, рисованием, гравировальным искусством и литературой. В 1786 году за составленный им в Германии «Словарь старинных военных речений» Российская академия избрала его своим членом. Только этот далеко не полный список достоинств Оленина оказался вполне достаточным, чтобы в 1811 году он был назначен директором петербургской Публичной библиотеки.