У Феликса и Елены Сумароковых родился сын Феликс. И вот Феликс Феликсович по примеру своего отца вступает в выгодный брак с Зинаидой, дочерью князя Николая Борисовича Юсупова. По законам Российской империи, вступая в брак, княжна теряла свой титул и принимала титул и фамилию мужа. Тем не менее, Николай Борисович обратился к царю с просьбой о передаче после своей смерти права наследования титула и имени Юсуповых своему зятю Ф.Ф. Сумарокову-Эльстону. Император Александр III удовлетворил просьбу князя своим высочайшим указам от 10 июля 1885 года. Таким образом, после смерти князя Николая Юсупова (19 июля 1891 года) его зять получил право называться князь Юсупов, граф Сумароков-Эльстон с правом передачи титула по наследству старшему сыну.
Так будущий зять Александра Михайловича получил самую длинную в России фамилию Юсупов-Сумароков-Эльстон.
В 1883 году в семье Юсуповых родился первенец Николай. Затем три года подряд Зинаида рожала по младенцу мужского пола, но они сразу умирали. 11 (24) марта 1887 года Зинаида разрешилась ещё одним мальчиком, которого по отцу и деду назвали Феликсом. Чтобы не путать с отцом, впоследствии его будут звать Феликсом Феликсовичем младшим.
Неудачные роды у крайне впечатлительной матери сделали младшего сына её кумиром.
Летом 1886 года в имении Архангельское при таинственных обстоятельствах умирает младшая сестра Зинаиды Татьяна Юсупова. По официальной версии, она утонула, купаясь в старице Москвы-реки. Однако в 1918 году окрестные крестьяне, разграбившие её могилу, обнаружили вместе с ней останки младенца. Видимо, Татьяна, не будучи замужем, умерла при родах. Ходили слухи, что она была влюблена в какого-то Павла. Во всяком случае, после смерти Татьяны все страницы её дневника, относившиеся к последним месяцам её жизни, были вырваны.
В 1908 году в семье Юсуповых случилась новая трагедия. Весной у 28-летнего Николая Юсупова начался роман с девятнадцатилетней графиней Мариной Александровной Гейден. Однако графиня уже имела жениха — капитана конной гвардии графа Арвида Мантейфеля.
В апреле 1908 года графиня Гейден получила звание фрейлины при императорском дворе. 23 апреля состоялась свадьба Марины и Мантейфеля, а ночь накануне она провела с Николаем в отдельном кабинете фешенебельного ресторана на Невском.
После свадьбы молодые отбыли в Париж. Но спустя несколько дней Марина написала Николаю Юсупову письмо с просьбой приехать. Николай объявил матери, что желает послушать Шаляпина, гастролировавшего в Париже, и через двое суток поселился в уютном номере гостиницы «Meurice», заранее заказанном для него Мариной. Предусмотрительная Марина снимает там же ещё один номер для своей матери. Мужу она объясняет, что хочет пожить несколько дней у мамы, ну а поселяется, естественно, у Николая.
Но вскоре влюблённым надоело сидеть взаперти в гостинице, и они начали посещать театры, выставки и дорогие рестораны. Лишь тогда туповатый Арвид заметил у себя ветвистые оленьи рога. Старик граф Эрнст Мантейфель потребовал от сына вызвать соблазнителя на дуэль.
В конце концов, Арвид вызвал Николая на дуэль. Однако секундантам удалось решить дело миром, благо, стреляться не желали обе стороны. Секунданты сочли повод для дуэли незначительным, и состоялось перемирие.
Марине пришлось с мужем отправиться в Петербург. Но тут вмешались господа офицеры конногвардейского полка и потребовали капитана Мантейфеля в Красное Село, где дислоцировался полк, для объяснений. Там суд чести полка вынес решение о необходимости дуэли. Командир полка Хусейн Келбани хан Нахичеванский представил дело на рассмотрение царю, и Николай II дал разрешение на поединок.
Мы ещё в детстве из романов Дюма узнали, как сурово карались участники дуэлей при Луи XIII и Луи XIV. Согласно указу Петра Великого за дуэль полагалась смертная казнь. Наследники Петра за дуэль не казнили, но разжалование, ссылка или заключение в крепость на несколько месяцев, а то и лет было нормой. А тут наш святой царь буквально заставляет молодого человека идти на смерть или стать убийцей!
Теперь у Арвида не было выбора. Ранним утром 22 июня 1908 года противники прибыли на лужайку Крестовского острова в имении князя Белосельского. По решению полкового суда дуэль должна была состояться на пистолетах на расстоянии пятнадцати шагов, три выстрела каждый.