По мнению цесаревича, именно Константин был главным приверженцем либеральных реформ, приведших страну к террористической вакханалии. Это подтверждает в своём дневнике и государственный секретарь А. А. Половцев: «Говоря о смерти отца, великий князь Владимир рассказывает, что одним из первых явился к смертному одру и был здесь свидетелем жестокой сцены: стоявший на коленях Константин громко рыдал, а нынешний государь в припадке нервного раздражения кричал: «Выгоните отсюда этого человека (указывая на Константина), он сделал несчастие моего отца, омрачил его царствование и т. д. Владимир схватил за руки своего старшего брата и тщетно старался его успокоить» (221, т. 2, с. 148).
Александр III, примерный семьянин и любящий муж, искренне считал, что многочисленная императорская семья, состоящая из высокопоставленных людей, должна служить примером для миллионов подданных. Он, нежно любивший свою мать, императрицу Марию Александровну, тяжело переживал связь отца с княжной Е. М. Долгорукой. Но терпимость в отношении отца вовсе не означала, что и другим родственникам позволено нарушать нравственные устои, афишировать свои альковные связи и, более того, обзаводиться побочными семьями.
Чувствуя негативное отношение молодого императора к себе, Константин Николаевич уже через три дня после гибели Александра II признался близкому к нему, государственному секретарю Е. А. Перетцу: «Что будет теперь, не знаю. Буду ждать. Кажется, мои акции плохи» (208, с. 28). Однако Александр III не скрывал своего неприятия к Константину Николаевичу. Спустя две недели, Перетц записывает в дневник: «… государь отозвался о великом князе Константине Николаевиче чрезвычайно неблагосклонно: «Я не могу его видеть; пусть уедет он куда хочет…» (там же, с. 51). 12 мая 1881 г. великий князь уехал из Петербурга в Ореанду с балериной А. В. Кузнецовой и детьми, рождёнными от этой связи. После долгих колебаний, Константин Николаевич прислал царю так называемое добровольное прошение об увольнении.
13 июля Александр III подписал высочайший указ Государственному совету: «Снисходя к просьбе Его Императорского Высочества государя великого князя Константина Николаевича всемилостивейше увольняем Его Высочество от должностей Председателя Государственного совета, Председательствующего в Главном комитете об устройстве сельского состояния и Председателя Особого присутствия о воинской повинности с оставлением в званиях генерал-адмирала, а также в прочих должностях и званиях» (28, оп. 1, д. 10, л. 9).
Как всегда, беда одна не приходит. В ночь с 7 на 8 августа из-за нелепой случайности сгорел любимый дворец великого князя в Ореанде — пожар начался на чердаке, а затем, несмотря на отчаянные усилия брандмейстеров, охватил всё здание. Константин Николаевич поселился в маленьком домике, получившем название Адмиральский, известного ранее как Императорский домик, поскольку здесь император Александр I в 1825 г. почувствовал первые приступы болезни, которая вскоре свела его в могилу.
22 августа 1881 г. в 50-летний юбилей великого князя Константина Николаевича в звании генерал-адмирала Александр III пожаловал ему двойной портрет императоров Николая I и Александра II «при очень милостивом рескрипте», на котором собственноручно сделал приписку: «Искренне вас любящий». Портрет и рескрипт были доставлены в Ореанду довольно многочисленной депутацией от флота, Морского министерства и Гвардейского экипажа, в числе которых были адмиралы П. В. Козакевич, Д. 3. Головачев и тайный советник М. А. Пещуров. В день юбилея великий князь получил около 200 телеграмм, в числе их была одна за подписью «Саша и Маня» (государь и императрица). Осенью того же года Константин Николаевич с Кузнецовой и детьми уехал во Францию — Ниццу и Париж, а в Ореанду вернулся весной 1882 г. 1 октября 1884 г. он заложил там первый камень в основание церкви Покрова Пресвятой Богородицы, которая была готова и освящена ровно через год. Впоследствии церковь в Ореанде была упомянута А. П. Чеховым в его рассказе «Дама с собачкой». Размеренно шли годы. Великий князь надеялся на своё возвращение в Петербург на другое поприще — учёное, на должность президента Академии наук и главного начальника разных обсерваторий и тому подобных учреждений, тем более что большая часть учёных уважала его и имела к нему доверие (208, с. 92). В 1889 г. Константин Николаевич тяжело заболел. Вследствие паралича отнялась левая сторона, пропала речь. Последние три года он жил в Павловске.
«Только когда перед своей смертью, — свидетельствовал Витте, — великий князь приехал в Петербург и поселился в Павловске в настоящей своей семье, император Александр III приехал к великому князю, отнёсся к нему чрезвычайно благосклонно и почтительно, как к своему дяде. Тогда только, за несколько дней до смерти, великий князь понял всю доброту и честность государя и, мне известно, когда к нему подошёл император, Константин Николаевич, уже не будучи в состоянии говорить, взял его руку и поцеловал в знак своего преклонения перед главой царской семьи» (84, т. I, с. 414). Сын Константина Николаевича Константин Константинович (известный поэт К. Р.) даёт более точное описание поведения своего отца во время этой встречи в своём дневнике 10 октября 1889 г. Он пишет: «Папа плакал, закрывал лицо рукою, притягивал к себе государя и целовал его. Потом он захотел встать, Полиголик (прозвище П. Е. Кеппена) и я помогли ему и он проводил государя до дверей». Умер великий князь 13 января 1892 г. в Павловске. Александра Иосифовна обижалась, что Александр III посетил только одну панихиду. Погребён великий князь был 15 января в Петропавловском соборе. Перезахоронен в усыпальницу 23—26 сентября 1911 г.