Однажды лорд Честерфилд увидел, как Яков обнимал его жену, пока королева играла в карты. Когда герцог понял, что его обнаружили, он «так быстро отдернул руки, что чуть было не раздел даму».
Пипс слышал, что герцог был «по уши влюблен в леди Честерфилд», но отнюдь не удивился, когда увидел Якова, покидающего дворец в обществе герцогини, хотя минуту назад он еще «держал в объятиях и целовал другую».
Поняв, что происходит, лорд Честерфилд увез жену из Лондона. Яков тут же обратил свои взоры на леди Фалмут, а затем на Мэри Кирк — обнаружив вскоре, что та развлекает и его племянника Монмута. Следующей в руки Якова попала Джейн Миддлтон, которая «распространяла вокруг себя пренеприятный запах, становившийся особенно резким, когда ей было жарко». Личная гигиена в то время не особенно ценилась.
После короткой связи с «коротышкой и толстушкой» Годотой Прайс, очередной фрейлиной герцогини, Яков увлекся довольно привлекательной леди Элизабет Денхем, женой придворного поэта. Сэру Джону Денхему было пятьдесят, его юной жене — восемнадцать. Сначала поэт согласился закрыть глаза на эту связь, при условии, что его жена получит место при герцогине Йоркской. Однако Элизабет не пожелала оставаться тайной любовницей, украдкой пробирающейся по коридорам личных покоев герцога. Она жаждала открытого признания. И вскоре Яков, «как пес», прилюдно таскался за «этой сукой Денхем».
Пипс часто жаловался, что его господин, лорд-адмирал, «пренебрегая делами, снова с головой погрузился в развлечения — то он с этой женщиной, миледи Денхем, а то охотится по три раза в неделю».
Сам сэр Джон Денхем почувствовал себя весьма уязвленным тем, что его рога оказались открыты всеобщему обозрению. Его жена не таясь встречалась с Яковом в доме герцога в Скотленд-Ярде. Как-то раз сэр Джон застал их вместе — они весело смеялись, в руках у Элизабет была гитара. В гневе поэт вырвал инструмент из рук жены и разбил о землю. Потом он пожаловался на герцога королю — что, без сомнения, приятно развлекло Его Величество.
Связь эта закончилась внезапной смертью леди Денхем. Подозревали, что дело не обошлось без яда. Боясь, что его разорвут на куски во время похорон, сэр Джон выставил присутствующим на печальной церемонии неимоверное количество вина. Герцог Йоркский поклялся, что никогда не будет придавать своим любовным связям открытый статус.
Впрочем, эти добрые намерения вскоре были забыты. Еще при жизни леди Денхем Яков обратил внимание на Арабеллу Черчилль — естественно, фрейлину герцогини Йоркской. Никто не мог понять, в чем заключается привлекательность высокой и тощей Арабеллы. «Сущий скелет, кожа да кости, и бледна, словно бумага», — так писал о ней современник. Однако герцогу довелось увидеть, как она упала с лошади, продемонстрировав пару стройных ног, и он «с трудом поверил, что ноги столь совершенной формы могут сочетаться с лицом мисс Черчилль». Упомянутые ноги вскоре раздвинулись, и Арабелле пришлось удалиться во Францию, где она родила своего первого внебрачного сына Джеймса Фицджеймса.
Всего Арабелла родила Якову четверых детей, не обращая внимания на советы королевского лекаря и придворного акушера Александра Фрейзера, прославившегося среди дам сноровкой, с которой он помогал им «избавиться от приплода, когда в том возникала нужда».
Но это не остановило Якова. По мере того как его жена становилась все толще, герцог Йоркский «изнурял себя супружескими изменами и постепенно чахнул».
Анна умерла через шесть недель после рождения ее последнего ребенка. Прошел мимолетный слух об отравлении. А герцог нашел утешение с семнадцатилетней леди Беллейси. Был поднят вопрос о браке, но король и слушать об этом не хотел.
«С него с лихвой хватит и одной глупости. Повторять ее, да еще в таком возрасте, ни к чему». Якову к тому времени исполнилось сорок лет.
Герцог последовал совету брата и женился на иноземной принцессе Марии Моденской, пятнадцатилетней девушке редкой красоты. Воспитанная в католической вере, Мария была столь благочестива, что мечтала стать монахиней. Только вмешательство папы римского убедило принцессу, что брак с наследником английского престола является ее высшим предназначением. Из-за антикатолических настроений, преобладающих в Англии, брак этот совершался по доверенности.
Несмотря на необыкновенную красоту Марии, уже через неделю после свадьбы Яков снова был с Арабеллой. Она родила ему еще одного здорового ребенка, однако герцог вскоре бросил ее и сошелся с Кэтрин Седли — теперь уже с фрейлиной Марии, а Арабелла вышла замуж за полковника и прожила с ним сорок долгих лет.