В 1766 году Екатерина II направила в Холмогоры генерала Александра Бибикова, который от имени императрицы предложил Антону-Ульриху покинуть Россию. Но тот отказался. Датский дипломат писал, что принц, «привыкший к своему заточению, больной и упавший духом, отказался от предложенной ему свободы». Это неточно: принц не хотел свободы для себя одного, он хотел уехать из России вместе с детьми. Но его условия не устраивали Екатерину, она боялась выпустить на свободу детей Анны Леопольдовны — претендентов на русский престол. Принцу лишь пообещали, что их всех отпустят вместе, когда сложится благоприятная для этого обстановка.
Так и не дождался Антон-Ульрих исполнения обещания Екатерины. К шестидесяти годам он одряхлел, ослеп и, просидев в заточении тридцать четыре года, скончался 4 мая 1776 года, пережив больше чем на двадцать лет свою жену. Ночью гроб с телом тайно вынесли во двор и зарыли без священника, без обряда, словно самоубийцу, бродягу или утопленника. Мы даже не знаем, провожали ли его в последний путь дети.
Они прожили в Холмогорах еще четыре года. К 1780 году они были уже давно взрослыми: старшей, Екатерине Антоновне, шел 39-й год, Елизавете было 37, Петру — 35, а младшему, Алексею, — 34 года. Все они были болезненными, слабыми, с явными физическими недостатками. Офицер охраны писал, что старший сын Петр «сложения больного и чахоточного, немного кривобок и кривоног. Меньший сын Алексей — сложения плотного и здорового, имеет припадки». Старшая дочь Екатерина — «сложения больного и почти чахоточного, притом несколько глуха, говорит немо и невнятно и одержима различными болезненными припадками, нрава очень тихого».
Несмотря на жизнь в неволе и отсутствие образования (в 1750 году в Холмогоры был прислан указ Елизаветы, запрещавший учить детей принцессы Анны грамоте), все они выросли умными, добрыми и симпатичными людьми, выучились самостоятельно и грамоте. Побывавший у них наместник А. П. Мельгунов писал императрице Екатерине II о принцессе Екатерине Антоновне, что, несмотря на ее глухоту, «из обхождения ее видно, что она робка, стеснительна, вежлива и стыдлива, нрава тихого и веселого. Увидев, что другие в разговоре смеются, хотя и не знает тому причины, смеется вместе с ними… Как братья, так и сестры живут между собой в дружбе и притом беззлобны и гуманны. Летом работают в саду, ходят за курами и утками, кормят их, а зимой бегают наперегонки по пруду, катаются на лошадях, читают церковные книги и играют в шахматы и карты. Девицы, сверх того, занимаются иногда шитьем белья».
Быт их был скромен и непритязателен, как и их просьбы. Главой семьи была Елизавета Антоновна, полноватая и живая девица, обстоятельная и разговорчивая. Она рассказала Мельгунову, что «отец и мы, когда были еще очень молоды, просили дать свободу, когда же отец наш ослеп, а мы вышли из молодых лет, то просили разрешения кататься по улице, но ни на что ответа не получили». Говорила она и о несбывшемся желании «жить в большом свете», научиться светскому обращению. «Но в нынешнем положении, — продолжала Елизавета Антоновна, — не останется нам ничего больше желать, как только того, чтобы жить здесь в уединении. Мы всем довольны, мы здесь родились, привыкли к здешнему месту и состарились».
У Елизаветы было три просьбы, от которых у Алексея Мельгунова, человека тонкого, доброго и сердечного, вероятно, все перевернулось в душе: «Просим исходатайствовать у Ее величества милость, чтобы нам было позволено выезжать из дома на луга для прогулки, мы слышали, что там есть цветы, каких в нашем саду нет, чтобы пускали к нам дружить жен офицеров — так скучно без общества». И последняя просьба: «Нам присылают из Петербурга корсеты, чепчики и токи, но мы их не употребляем из-за того, что ни мы, ни служанки наши не знаем, как их надевать и носить. Сделайте милость, пришлите такого человека, который умел бы наряжать нас».
В конце разговора с Мельгуновым Елизавета сказала, что если выполнят эти просьбы, то они будут всем довольны и ни о чем просить не будут, «ничего больше не желаем и рады остаться в таком положении навсегда». Прочитав доклад Мельгунова, Екатерина дрогнула — она дала указ готовить детей Анны Леопольдовны (которую, вероятно, видела только в гробу в 1746 году) к отъезду.
Екатерина II завязала переписку с датской королевой Юлией-Маргаритой, сестрой Антона-Ульриха и теткой холмогорских пленников, и предложила поселить их в Норвегии, тогдашней провинции Датского королевства. Королева дала согласие поселить их в самой Дании. Начались сборы. Неожиданно в скромных комнатах холмогорского архиерейского дома засверкало золото, серебро, бриллианты — это везли подарки императрицы: гигантский серебряный сервиз, бриллиантовые перстни для мужчин и серьги для женщин, невиданные чудесные пудры, помады, туфли, платья. Семь немецких и пятьдесят русских портных в Ярославле поспешно готовили платья для четверых узников — датские родственники должны были оценить щедрость и великодушие императрицы Екатерины!