Одновременно с Иваном был записан корнетом в гвардию и его сводный брат Станислав Потоцкий.
В августе 1796 года Софья Витт-Потоцкая привезла пятнадцатилетнего Ивана в столицу. К этому времени его отец получил графское звание, которое унаследовал и сын. Именно тогда де Витт официально меняет своё имя Иоган на Ивана, а по отцу решает именоваться не Иосифовичем, а Осиповичем. Так в российской столице появляется молодой граф Иван Осипович де Витт, прибывший делать карьеру в гвардии.
Молодой граф был принят на службу в Конногвардейский полк. Для этого у него были все данные: хороший рост, отличная выправка и, что особо важно, немалые средства, которые были непременно нужны, чтобы быть настоящим конногвардейцем, то есть достойно содержать себя и вести соответствующий образ жизни. В 1796 году вместе с полком де Витт участвует в траурных церемониях при кончине императрицы Екатерины II.
До 1796 года лейб-гвардии Конный полк был единственным регулярным кавалерийским полком в русской гвардии. В большинстве источников отмечается, что впервые полк участвовал в боях лишь в 1805 году. Однако это заблуждение. Первое участие в боевых действиях Конный полк принял ещё в 1737 году, когда три из десяти эскадронов полка сражались при взятии Очакова и в битве при Ставучанах в ходе Русско-турецкой войны 1737–1739 годов.
В павловскую эпоху лейб-гвардии Конный полк имел обмундирование, вооружение и конный убор по образцу армейских кирасирских полков. По воинскому уставу 1796 года и табелю от 1798 года де Витту были положены: перчатки, треугольная шляпа с султаном, плащ, фуражная шапка, китель, палаш с темляком, портупея, шашка, кушак, кираса (окрашенная в черный цвет), карабин, погонная перевязь, лядунка и пара пистолетов, колет из палевой кирзы, с застежкой на крючках, суконный камзол, белые лосины и высокие ботфорты с накладными шпорами.
Год 1796-й занимает особое место в российской истории. Со смертью Екатерины II заканчивается «золотой век дворянства», а заодно с ним — и период женских царствований в России. Павел I сразу же начал своё царствование с наведения порядка в собственной гвардии, которая при его матушке жила весьма вольготно и настоящей службой себя не слишком утруждала.
Уже 29 ноября 1796 года, то есть через три недели после воцарения Павла, появились воинские уставы о конной и пехотной службе. Положение гвардии переменилось разительно. Полковой адъютант Измайловского полка Е. Комаровский так писал о тех днях: «Образ жизни наш, офицерский, совершенно переменился. При императрице мы думали только о том, чтобы ездить в театры, общества, ходили во фраках, а теперь с утра до вечера сидели на полковом дворе и учили нас всех, как рекрутов». Непривычные, невиданные ранее тяготы службы вызвали массовые отставки.
Историк пишет: «Неродовитые, разумеется, в сравнении с петербургскими, офицеры, среди которых было много выходцев из Германии, Курляндии, Украины (именно к последним относился и корнет де Витт. — В.Ш.), делали зачастую более быструю и значительную карьеру, чем гвардейские старожилы. Всеобщее презрение вызывали новые уставы. В первую очередь за их сходство с прусскими уставами… Введенные Павлом изменения в армии, вплоть до нового мундира, провоцировали раздражение и озлобление».
В течение первых нескольких недель после введения новой прусской формы и ужесточения дисциплины около семидесяти офицеров-конногвардейцев оставили полк. Из ста тридцати двух офицеров, бывших в Конногвардейском полку в 1796 году, лишь двое остались в нём к марту 1801 года. Фактически полк был развален, и его предстояло формировать заново. Честно говоря, Ивану де Витту, который только что поступил на службу и не вкусил всех прелестей старой гвардейской жизни, просто не с чем было сравнивать свою только что начавшуюся службу. А потому никаких оснований для ухода со службы у него не было. Кроме того, сделать такой опрометчивый шаг ему не разрешили бы ни мать, ни отчим. Из-за того что в Конногвардейском полку демонстративно покинули службу более половины офицеров, там сразу же появилось много вакансий, которые заполнялись из других полков. Павел I был весьма зол на покинувших полк фрондеров, но одновременно весьма благосклонен к тем офицерам, кто остался в нём служить.