В 1781 году вдруг неожиданно отворены были ворота, сломан острог, уже заметно одряхлевший от времени, и в старом, опустелом архиерейском доме велено было поместить вновь учрежденную мореходную школу.
Тогда только холмогорцы узнали, что здесь была заключена бывшая правительница государства, принцесса Анна Леопольдовна с супругом своим принцем Антоном-Ульрихом и детьми, но все-таки боялись еще рассказывать и толковать между собой вслух.
Несчастные пленники привезены были сюда, как известно, из Раненбурга. Вместе с Анной Леопольдовной, кроме мужа, привезены были две малолетних дочери, принцессы. Здесь у заключенных родились еще двое: в 1745 году принц Петр и в 1746 принц Алексей. Здесь же в 1746 году от родов и тоски умерла принцесса Анна и здесь же, наконец, скончался в 1775 году и принц Антон-Ульрих.
Рассказывают, что, когда мореходная школа переведена была в Архангельск и место это назначено было в 1798 году для Успенского женского монастыря, находившегося до того времени в трех верстах от города, и когда рыли фундамент для соборного храма, землекопы нашли гроб, в котором лежали чьи-то кости, заключенные в бархатный кафтан. Некоторые приняли это за кости Антона-Ульриха, другие предполагали в них кости его камердинера или кого-либо из ближних приставников, потому что и эти не выпускались за стены таинственного здания и, вероятно, погребались также внутри их.
В 1781 году по повелению императрицы Екатерины II брауншвейгское семейство — сироты Анны Леопольдовны — были освобождены. Тайно, ночью их перевезли на приготовленную на Двине яхту. Яхта привезла их к Новодвинской крепости (по другим сведениям, к Архангельску, в дом Крылова — единственный существовавший тогда каменный дом). В новом месте заточения принцессы содержались также под строгим секретом и крепким караулом, пока готовился фрегат «Полярная звезда». На этот фрегат их и посадили, также ночью, 30 июня 1781 года. Свидетели этого события рассказывали, что одна из принцесс, словно помешанная, дико блуждала кругом глазами, а другая вырвалась из рук, билась грудью о землю и не хотела идти на фрегат. Когда все усилия ее оказались тщетными, она схватила в руки горсть земли и, горько и безутешно рыдая, безропотно уже подчинилась судьбе. Фрегат «Полярная звезда» отвез принцесс в Данию, в Берген, где, как говорят, старшая умерла от тоски; другая, младшая, пережила всех своих родных и умерла в глубокой старости в конце сороковых годов.
— За что же вы думаете сосланы они были сюда? — спрашивал я рассказывавшего мне об этом событии холмогорца.
— А они против царицы Анны Ивановны пошли. Раз государыня-то пригласила его, Антона, войска осматривать. Антон и задумал умертвить государыню и для этого приготовил убийц, расставил их подле моста, через который им надо было проезжать к войскам. Мост был на тот случай надломлен. Один из заговорщиков известил обо всем этом государыню. Та повелела расставить стражу по лесу, саженях в пятидесяти от моста, и «как-де белым махну, тогда вы и хватайте заговорщиков». Так и сделано. Заговорщики все переиманы. Они же тут и на предводителя своего указали. Когда их прислали к нам на Холмогоры, жили они у нас бедно: все свои дорогие вещи, все свои бриллианты на свои нужды продали; Антон послал два письма в Питер. Одно-де, слышь, не дошло, а в другом он писал такое, что пущай-де я за свои грехи мучаюсь, по делам; за что дети-то, мол, мои, неповинные младенцы, Богу негрешные, страдают? Повели их помиловать. Царица Елизавета взяла старшего сына (Иоанна Антоновича?!) и указала ему быть при дворе, жить во дворце, как словно бы царевичу. Он и жил, да раз зашалил что-то, ему Разумовский князь и пригрозил пальцем. Вспыхнул. Стал сердиться, да и вымолвил, что я-де царем буду, а ты-де мне грозить не смеешь. Тот молвил государыне, что вот-де змею подле себя отогреваете. Его и сослали в Шлюшин-город, а там и убили...