В 1883 году в семье Юсуповых родился первенец Николай. Затем три года подряд Зинаида рожала по младенцу мужского пола, но они сразу умирали. 11 (24) марта 1887 года Зинаида разрешилась ещё одним мальчиком, которого по отцу и деду назвали Феликсом. Чтобы не путать с отцом, впоследствии его будут звать Феликсом Феликсовичем младшим.
Неудачные роды у крайне впечатлительной матери сделали младшего сына её кумиром.
Летом 1886 года в имении Архангельское при таинственных обстоятельствах умирает младшая сестра Зинаиды Татьяна Юсупова. По официальной версии, она утонула, купаясь в старице Москвы-реки. Однако в 1918 году окрестные крестьяне, разграбившие её могилу, обнаружили вместе с ней останки младенца. Видимо, Татьяна, не будучи замужем, умерла при родах. Ходили слухи, что она была влюблена в какого-то Павла. Во всяком случае, после смерти Татьяны все страницы её дневника, относившиеся к последним месяцам её жизни, были вырваны.
В 1908 году в семье Юсуповых случилась новая трагедия. Весной у 28-летнего Николая Юсупова начался роман с девятнадцатилетней графиней Мариной Александровной Гейден. Однако графиня уже имела жениха — капитана конной гвардии графа Арвида Мантейфеля.
В апреле 1908 года графиня Гейден получила звание фрейлины при императорском дворе. 23 апреля состоялась свадьба Марины и Мантейфеля, а ночь накануне она провела с Николаем в отдельном кабинете фешенебельного ресторана на Невском.
После свадьбы молодые отбыли в Париж. Но спустя несколько дней Марина написала Николаю Юсупову письмо с просьбой приехать. Николай объявил матери, что желает послушать Шаляпина, гастролировавшего в Париже, и через двое суток поселился в уютном номере гостиницы «Меurice», заранее заказанном для него Мариной. Предусмотрительная Марина снимает там же ещё один номер для своей матери. Мужу она объясняет, что хочет пожить несколько дней у мамы, ну а поселяется, естественно, у Николая.
Но вскоре влюблённым надоело сидеть взаперти в гостинице, и они начали посещать театры, выставки и дорогие рестораны. Лишь тогда туповатый Арвид заметил у себя ветвистые оленьи рога. Старик граф Эрнст Мантейфель потребовал от сына вызвать соблазнителя на дуэль.
В конце концов, Арвид вызвал Николая на дуэль. Однако секундантам удалось решить дело миром, благо, стреляться не желали обе стороны. Секунданты сочли повод для дуэли незначительным, и состоялось перемирие.
Марине пришлось с мужем отправиться в Петербург. Но тут вмешались господа офицеры конногвардейского полка и потребовали капитана Мантейфеля в Красное Село, где дислоцировался полк, для объяснений. Там суд чести полка вынес решение о необходимости дуэли. Командир полка Хусейн Келбани хан Нахичеванский представил дело на рассмотрение царю, и Николай II дал разрешение на поединок.
Мы ещё в детстве из романов Дюма узнали, как сурово карались участники дуэлей при Луи XIII и Луи XIV. Согласно указу Петра Великого за дуэль полагалась смертная казнь. Наследники Петра за дуэль не казнили, но разжалование, ссылка или заключение в крепость на несколько месяцев, а то и лет было нормой. А тут наш святой царь буквально заставляет молодого человека идти на смерть или стать убийцей!
Теперь у Арвида не было выбора. Ранним утром 22 июня 1908 года противники прибыли на лужайку Крестовского острова в имении князя Белосельского. По решению полкового суда дуэль должна была состояться на пистолетах на расстоянии пятнадцати шагов, три выстрела каждый.
Отсчитав шаги, противники встали друг напротив друга. Раздалась команда «Стрелять!», и одновременно громыхнули два выстрела. Николай выстрелил вверх, а Мантейфель — в Юсупова. Николай получил смертельную рану в бок и скончался на месте дуэли.
Весь Петербург сочувствовал семье Юсуповых. На следующий после дуэли день на панихиду по Николаю прибыли большинство августейших особ, находившиеся в столице: греческая королева Ольга Константиновна, греческий принц Николай, великие княгини Мария Павловна, Елена Владимировна, Елизавета Маврикиевна, Мария Георгиевна, Ксения Александровна, великие князья Владимир Александрович, Константин Константинович, присутствовали и Николай, Георгий и Александр Михайловичи.
После смерти Николая Феликс остался единственным наследником огромного состояния Юсуповых. И сразу же за ним начали охоту дочери и маменьки не только в Москве и Петербурге, но и в Париже и Лондоне. При этом ни дочек, ни мамочек не смущали слухи о «нетрадиционной ориентации» Феликса.
В своих воспоминаниях Ф.Ф. Юсупов пытается свести свои увлечения лишь к страсти переодеваться в женские платья. По его версии, к переодеванию его склонила «простая» девушка Поля, жившая в Петербурге недалеко от них. В её крошечной квартирке они и «проводили вечера в компании со студентами, артистами и весёлыми девицами».