Возвратившись в Россию, Ганнибал возглавил работы в крепости Кронштадт и на Ладожском канале и начал преподавать математику и инженерное дело в Петербургской инженерной школе.
Со смертью Петра I судьба Ганнибала переменилась. Он издавна был в неприязни с могущественным Меншиковым, и в 1727 году час Ганнибала пробил: Светлейший отправил его в ссылку, придав ей видимость служебной командировки, повелев неугодному ему офицеру отбыть на границу с Китаем «по сю сторону Байкальского моря, для строительства Селенгинской крепости». По дороге Ганнибал осмотрел крепости в Казани и Тобольске, а потом и в Иркутске.
Пока Абрам Петрович ехал по Сибири, пал недруг его Меншиков. И пострадавшие от всесильного временщика люди писали друг другу с радостью: «Прошла и погибла суетная слава прегордого Голиафа».
Однако рано радовался Ганнибал падению Мен–шикова — непрекращающиеся дворцовые интриги достали его и в Селенгинске: Ганнибала обыскали, арестовали и отвезли под надзором в Томск. Фортуна переменилась к нему в начале 1730 года после смерти Петра II: заступничеством оставшихся в Петербурге друзей Ганнибал был произведен в майоры и в этом чине оставлен в Томском гарнизоне, а еще через семь месяцев — в сентябре 1730 года — «определен в Пернове к инженерным и фортификационным делам по его рангу».
Затем служил он и в других крепостях Прибалтики, потом побывал в отставке и снова вернулся в строй, пока, наконец, не дослужился до генерала и не стал главноначальствующим в Ревельской крепости.
Так и служил он до весны 1752 года, а 25 апреля 1752 года обер–комендант города Ревеля Абрам Петрович Ганнибал был переименован из пехотного генерал–майора в инженер–генерал–майоры и одновременно переведен в штаб Инженерного корпуса, находящегося в Петербурге, где ему было приказано ведать технической частью корпуса.
Теперь он стал отвечать за своевременное получение, как мы сказали бы сегодня, сметно–финансовой и технической документации из всех крепостей, где производились какие–либо работы, и по рассмотрению подписывать их и передавать в Главную канцелярию артиллерии и фортификации, и отчитываться во всем перед Военной коллегией.
Все крепости империи были тогда поделены на два округа — Остзейский, то есть Прибалтийский, и Российский.
В Остзейском главным военным инженером состоял инженер–полковник Лудвах, а в Российском — инженер–полковник Бибиков. Они–то и поставляли Ганнибалу основную массу казенных бумаг.
В это же время Ганнибал стал и надзирать за подготовкой военных инженеров в Петербургской и Московской инженерных школах.
А четыре важнейших северо–западных крепости — Кронштадт, Петропавловская, Рижская и Перновская — были подчинены ему лично.
Весною нынешнего, 1755 года, несколько месяцев назад, в ведение Ганнибала перешли и каналы — Кронштадтский и Ладожский, а также и Рогервикская гавань в Финляндии. В это же время был ему подчинен и весь Инженерный корпус.
Что же касается Петропавловки, то Ганнибал не просто отвечал за нее, но и денно и нощно пропадал в ней все то время, когда работные люди одевали крепость камнем, облицовывая гранитными плитами ее кирпичные стены и бастионы.
В один из таких дней и встретились с ним во дворе Петропавловской крепости отец и сын Голенищевы — Кутузовы…
Старый эфиоп, заметив знакомого, приветливо улыбнулся и подошел к Лариону Матвеевичу.
— А это, никак, сын твой? — спросил Ганнибал, поглядев на Мишу, и, уже обращаясь к нему, осведомился, как его звать, который ему год и кем он собирается стать.
Миша ответил полным титлом:
— Михаила Ларионов Голенищев — Кутузов, а лет мне полных десять и уже пошел одиннадцатый, а стану я, как и отец мой, военным инженером.
— То добро, добро, — засмеялся Ганнибал. — А знаешь ли ты, что есть, например, бастион? — спросил он Мишу, лукаво поглядывая при этом на отца.
— Бастион, — ответил Миша, — есть укрепление, в углах крепости или же в поле строящееся для того, чтоб обстреливать пространство вдоль куртин и впереди себя.
— Изрядно, — воскликнул Ганнибал, ему и на экзаменах не всегда отвечали так лихо. — А не назовешь ли и части, из коих бастион состоит? — спросил Ганнибал, усложняя вопрос, как поступал он на экзаменах в Инженерной школе.