Буквально за несколько часов до кончины императрица по подсказке Меншикова подписала указ о наказании виновных: “Дивьера и Толстого, лишив чина, чести и данных деревень, сослать: Дивьера в Сибирь, Толстого с сыном в Соловки; Бутурлина, лиша чинов, сослать в дальние деревни; Скорнякова-Писарева, лиша чинов, чести, деревень и, бив кнутом, послать в ссылку и т.д.” Светлейший распорядился приписать к указу слова, относившиеся непосредственно к зятю: “Дивьеру при ссылке учинить наказание, бить кнутом”. Не пощадил временщик и собственную сестру Анну, велев ей вместе с малолетними детьми Антона Мануиловича безвыездно жить в дальней деревне.
А самого Дивьера вкупе со Скорняковым-Писаревым, чтобы жизнь им медом не казалась, Меншиков упек в холодную Якутию, в Жиганское зимовье, что на пустынном берегу Лены, в 9000 верстах от Петербурга и в восьмистах верстах от Якутска. В этой забытой Богом глухомани ссыльные часто нуждались в самом необходимом, питаясь одним хлебом и рыбой. Несчастным запрещалось даже общаться друг с другом, за чем бдительно следил приставленный к ним караул.
Вести доходили к ним, отрезанным от мира изгнанникам, спустя не месяцы – годы. Вот уже упала звезда “прегордого Голиафа” Меншикова, который в 1729 году испустил дух в ссылке, в таежном Березове; преставился и юный император Петр II; а вступившая на престол Анна Иоанновна, памятуя о Дивьере как о разлучнике со своим бывшим возлюбленным, не спешила облегчить участь опального графа.
Лишь на закате царствования она смилостивилась и в апреле 1739 года издала указ о назначении Антона Мануиловича командиром вновь отстраивавшегося Охотского порта. Административный талант бывшего обер-полицмейстера не сломили годы лишений и бедствий. Он вновь оказался востребованным и действовал весьма энергично: раскрыл, между прочим, злоупотребления, допущенные прежними должностными лицами, быстро закончил снаряжение знаменитой экспедиции Витуса Беринга, достроил порт. Не пропала втуне и моряцкая жилка Дивьера: он основал мореходную школу, превратившуюся впоследствии в штурманское училище сибирской флотилии.
Парадоксально, но факт: Антона Мануиловича вернула из ссылки и обласкала императрица Елизавета Петровна, к иудеям вовсе не расположенная. (Впрочем, едва ли она видела жида-христопродавца в обрусевшем, православном Дивьере). Высочайшим указом 14 февраля 1743 года ему были возвращены графское достоинство, чин генерал-лейтенанта и орден св. Александра Невского. Елизавета пожаловала ему также 1800 душ крестьян из имения ненавистного ему Меншикова, а также деревню Зигорица в Ревгунском погосте (180 дворов). Он был также произведен в генерал-аншефы.
Дщерь Петрова, идя по стопам своего великого отца, 27 декабря 1744 года вновь назначает Дивьера обер-полицмейстером Петербурга. И хотя годы у Антона Мануиловича были уже не те (ему исполнилось 63 года), он вновь отдался своему любимому делу. Однако, ужаса на петербургских обывателей дряхлый генерал уже не наводил.
Дивьеру не пришлось долго хозяйничать в Северной Пальмире. Многолетние страдания и лишения надломили его здоровье; он часто хворал и умер 24 июня 1745 года, прослужив наново в полиции не более полугода. Так закончил свои труды и дни этот ревностный сподвижник Петра I.
Тело его погребено на Лазаревском кладбище Александро-Невской лавры. Биограф прошлого века утверждал, что видел там расколотую плиту с надписью “Генерал-аншеф граф Антон Мануилович Дивьер. Погребен 27 июня 1745 года”, однако, сегодня его могила считается безвозвратно утерянной. Но в истории, по счастью, он не затерялся, напоминая всем патриотам-почвенникам о такой неприятной для них истине: первым российским “ментом” был этнический еврей.