Государственный секретарь Александр Александрович Половцев оставил такой портрет Константина Николаевича: «Он отличается несомненным умом, но его грубое с людьми обращение, постоянная желчность, неровность характера, а за последние годы открыто распутная жизнь отталкивали от него порядочных людей и лишали его деятельность тех плодов, кои она принесла бы несомненно, если бы в этом человеке было более доброго, простого, человеческого чувства».
Всем было известно, что великий князь Константин Николаевич длительное время состоял во внебрачной связи с балериной Анной Васильевной Кузнецовой, внебрачной дочерью великого трагика Василия Андреевича Каратыгина и танцовщицы. Обо всем этом Константин Николаевич рассказал своей супруге, призывая ее «соблюдать приличия».
Сергей Юльевич Витте писал, что великий князь «ездил со своей танцовщицей Кузнецовой и по России, и за границей совершенно открыто, к чему, конечно, император Александр III относился вполне отрицательно; достаточно хоть немного знать императора Александра III, чтобы понять, что он этого терпеть не мог».
По признанию А. А. Половцева, Константин Николаевич «гулял в Крыму и, встречая знакомых, старался знакомить их со своей танцовщицей Кузнецовой и при встрече говаривал: «В Петербурге у меня казенная жена, а здесь собственная».
Для Кузнецовой великий князь приобрел на Английском проспекте особняк (дом 18) и стал его завсегдатаем. Анна Кузнецова родила от него пятерых детей. Все они получили фамилию Князевых.
Помимо того что цесаревич, а затем император Александр III расходился с Константином Николаевичем во взглядах на пути развития и обновления России, между ними существовали разногласия в области управления Морским министерством и создания Добровольного флота. Цесаревич не раз критически высказывался о деятельности великого князя как генерал-адмирала, управляющего флотом и морским ведомством. В свою очередь Константин Николаевич допускал язвительные колкости по поводу некомпетентности наследника.
Через три дня после гибели Александра II Константин Николаевич признался близкому к нему государственному секретарю Егору Абрамовичу Перетцу: «Что будет теперь, не знаю. Буду ждать. Кажется, мои акции плохи».
Александр III не скрывал своего отношения к Константину Николаевичу. Спустя две недели тот же Е. А. Перетц записал в дневник: «…Государь отозвался о великом князе Константине Николаевиче чрезвычайно неблагосклонно: «Я не могу его видеть; пусть уедет он куда хочет…».
В мае 1881 года Константин Николаевич уехал из Петербурга в Ореанду. Он отправился в Крым с Кузнецовой и их детьми. В Ореанде, после долгих колебаний, великий князь написал царю так называемое добровольное прошение об увольнении. 13 июля Александр III подписал высочайший указ Государственному совету: «Снисходя к просьбе Его Императорского высочества государя великого князя Константина Николаевича всемилостивейше увольняем Его высочество от должностей Председателя Государственного совета, Председательствующего в Главном комитете об устройстве сельского состояния и Председателя Особого присутствия о воинской повинности с оставлением в званиях генерал-адмирала, а также в прочих должностях и званиях».
В августе того же года любимый дворец великого князя в Ореанде сгорел из-за нелепой случайности. Константин Николаевич переселился в маленький домик, получивший название Адмиральского, а ранее известный как Императорский, поскольку здесь император Александр I в 1825 году почувствовал первые приступы болезни, которая вскоре свела его в могилу.
Осенью Константин Николаевич с Кузнецовой и детьми уехал во Францию — Ниццу и Париж. В Ореанду он вернулся весной следующего года. Великий князь надеялся со временем на свое возвращение в Петербург на другое поприще — ученое, на должность президента Академии наук и главного начальника разных обсерваторий и тому подобных учреждений. Однако в 1889 году Константин Николаевич тяжело заболел. Вследствие паралича у него отнялась левая сторона, пропала речь. Он переехал в Павловск.