Заключенные поначалу рассчитывали на обещанную свободу и даже развлекались. Салтыков доносил, что в теплые дни во внутреннем дворе замка принцесса катается на качелях, принц же с девицами играет в кегли и даже «вздумал ныне щеголять и волосы подвивать, и клещи тупейные по требованию его купили». Антон Ульрих каким-то образом ухитрялся передавать на волю письма родственникам: в июне, августе и сентябре он безуспешно просил брата-герцога Карла Брауншвейг-Вольфенбюттельского похлопотать о его освобождении. Для Анны же последствием царского разрешения проживать совместно с супругом стала очередная беременность. Но в ночь на 15 сентября 1742 года у нее случился выкидыш, по заключению докторов — «месяцев трех, мужеска полу».
За каждым шагом семьи бдительно следили. Охранники «стучали» друг на друга; над ними стоял бдительный Салтыков (его рапорты неслись в столицу каждые три-четыре дня), а за ним самим присматривал кто-либо из ближайшего круга императрицы: на смену уехавшему Воронцову прибыл генерал-лейтенант Александр Бутурлин. Любой крик младенца Иоанна Антоновича подробно описывался в доносах: «Играючи с собачкою, бьет ее по лбу, а как его спросят: "Кому-де, батюшка, голову отсечешь?" — то он отвечает, что Василию Федоровичу (Салтыкову. — И. К.)». В день коронации Елизаветы Петровны Салтыков устроил обед для офицеров рижского гарнизона и администрации — он был пожалован орденом Святого Андрея Первозванного. На следующий день после торжества поступил донос на обер-кригскомиссара Никифора Апушкина, который «пьяный шел в квартеру свою мимо квартеры, где стоит принцесса Анна с фамилиею»: «…и в то время она, принцесса, стояла у окна. И зашед против окон, поклонился ей, принцессе, он, Апушкин, и просил, чтоб ему показать маленькаго принца, котораго в то время она, принцесса, держала на руках. И сказал: "Будь над ним благословение Божие"». Апушкин вынужден был оправдываться: «…был чрезмерно пьян, ничего не помню, да не точию оного, но и того не помню, что я упал и убился грудью пред крыльцом квартеры моей, а причины я никакой к тому не имел и ее, принцессу, от роду моего не видал, понеже я от [1]728 году в Санкт-Питербурхе не бывал, а находился всегда при армии».
Серьезной вины за подгулявшим офицером не нашлось, но рижскую «команду» Салтыкова всё время трясло: солдатики не раз объявляли — по пьяни или «отбывая побои» — «слово и дело» и предавались неуместным размышлениям. Так, рейтар Кирилл Карташов вопрошал: «Как де у нас ныне будет наследствие — болшим братьям или по частям?» В мае того же года императрица вдруг предписала Салтыкову арестовать находившегося в его подчинении доктора Азарити: «…и письма его все, что найдется в карманах и в квартире его, тако ж прислать к нам, и сие надобно сделать так тайно, чтоб о том никто, а особливо принцесса, не ведал». Врач был отправлен в Москву вместе с отбывавшим Воронцовым под «пристойным конвоем», а его переписку императрица «изволила взять к себе». В июне был задержан бывший камер-шрейбер принца Антона Шопмейер, почему-то не высланный, как другие слуги, за границу, а оказавшийся сначала в команде Салтыкова, а потом под следствием. Наконец, в декабре «имеющаяся при принцессе девка» Наталья Абакумова «в беспамятстве и в великой горячке» не давала пустить себе кровь, объявила «за собою слово» и была отправлена под надзором гвардейского капрала «бережно».
Ни причины арестов этих людей, ни их дальнейшая судьба в архивных документах о ссылке брауншвейгского семейства не отражены. Слухи же ходили нехорошие. Саксонский посланник Пецольд писал: «…многие, между которыми находился и итальянский врач Азарити, сопровождавший в Ригу принцессу Анну и присланный сюда скованным, казнены втайне». Почтенный врач и генерал-штаб-доктор Иоанн Арунций Азарити на самом деле не пострадал — он благополучно жил и практиковал в Москве и умер в 1747 году.