Ещё в 1784 году Алексей Разумовский разошёлся с первой женой Варварой Петровной Шереметевой; мизантроп и вольтерьянец, он не выдержал её агрессивно назойливую набожность. В дальнейшем его подругой жизни стала дочь простого берейтора Мария Михайловна Соболевская, родившая ему десять детей — пять сыновей и пять дочерей. Об этой женщине почти ничего не известно, но союз оказался на редкость прочным и длился тридцать пять лет, до самой смерти Алексея Разумовского. Все дети получили фамилию Перовских по уже упомянутому селу Перово. Вряд ли этот, хотя юридически и не оформленный, брак можно считать неравным. Ведь о демократическом происхождении Разумовских все хорошо знали. Правда, когда встал вопрос о потомственном дворянстве детей, срочно были сфабрикованы документы о первом браке Соболевской с неким польским шляхтичем Перовским, якобы погибшим при штурме Варшавы войсками Суворова в 1794 году. Сама она до смерти по документам оставалась мешанкой.
Перовские оказались талантливой порослью. О старшем сыне Алексее (писателе Антонии Погорельском) разговор особый. Младшие братья Василий и Лев сделали блестящую карьеру и при Николае I поднялись на вершину правительственной пирамиды. Василий Перовский стал одним из крупнейших государственных деятелей николаевского времени; будучи оренбургским генерал-губернатором, он фактически подготовил русское завоевание Средней Азии. Из дочерей внимание привлекают младшие: Ольга Алексеевна и Анна Алексеевна.
Незаконные дочери высокопоставленных и родовитых отцов фактически были лишены возможности самим устраивать свою судьбу; им надлежало подчиняться воле родителей, приискивающих для них женихов. Ольга Алексеевна была выдана за артиллерийского офицера Михаила Жемчужникова; никто и не предполагал, что его ждёт блестящая карьера. Анне Алексеевне в мужья предназначался граф Константин Петрович Толстой, к чему она относилась безропотно. Если в немногочисленных биографических публикациях о поэте родство с Разумовскими всячески подчёркивается, то отец фактически остаётся в тени. Это объясняется тем, что в жизни своего сына он не играл почти никакой роли. Однако совершенно игнорировать его невозможно уже хотя бы потому, что он приходился родным братом знаменитому художнику Фёдору Петровичу Толстому. Так и с отцовской стороны поэт безусловно унаследовал творческие наклонности.
О «дяде Константине» подробно рассказывает в воспоминаниях его племянница Мария Фёдоровна Каменская (дочь художника):
«В те времена детей в корпусе принимали очень маленькими, и дядю отдали в малолетнее отделение пятилетним ребёнком. 17-ти лет он был уже выпушен офицером в какой-то Фридрихсгамский полк, и военная карьера его пошла быстро и счастливо. Несмотря на то, что дядя рассказывал мне про неё наиподробнейшим образом (не пропуская даже того, что был лучший танцор в их полку и что раз на балу сама шведская королева выбрала его себе кавалером и танцевала с ним), я всё-таки не стану следить шаг за шагом за всеми его отличиями и повышениями, а скажу прямо, что он делал шведскую кампанию и начало французской; верно, он был очень храбр, если получил золотую шпагу „За храбрость“, Анну 2-й степени и много ещё каких-то орденов и медалей. Такой необыкновенной св. Анны, какая была у дяди, я что-то после ни у кого не видывала: она была очень большая, и на четырёх концах креста, на месте теперешней эмали, сидели четыре продолговатые рубина, или стеклышка под рубин, и около них были и бриллианты… Очень нарядный был крест. Но он принес дяде несчастье, или, рассуждая по-военному — счастье. В сражении, за которое он его получил, дядя был ранен в левую ногу, не мог продолжать военную службу и 26-ти лет выпущен в отставку „с мундиром“… Наружностью он красив не был, но имел самое доброе, милое лицо; телом широк в костях, крепок и силён, в движениях быстр, тороплив, но неловок… Характером он был слаб и податлив… Но зато сердце имел самое доброе, мягкое и чистейшую душу. На всякое хорошее дело отзывался из первых, ласку и доброе слово ценил выше всего. Да, вполне прекраснейший человек был мой дядя Константин»[3].