Подчиненные И. Серова также участвовали в «распределении» трофейных ценностей, но в значительно меньших размерах. Впоследствии они подтвердили весь размах действий «Ивана Грозного», как прозвали Серова жители Польши и Германии. По их словам, этот представитель военного командования не брезговал не только мехами, гобеленами и столовым серебром, но и постельным бельем, люстрами, каминами и велосипедными звонками. Более того, он разыскал бывшего владельца оружейных заводов И. П. Зауэра, создал ему условия для возобновления производства и организовал выпуск ружей класса «люкс» с соответствующими отделкой и инкрустациями для высших партийных и военных функционеров.
Другими деяниями бравого генерала стали присвоение огромных сумм рейхсмарок, поступивших в его распоряжение для служебного пользования, уничтожение части официальной документации (описи, расходные листы) на трофейное имущество и деньги и вывоз с территории Германии золотой короны с бриллиантами (семейного наследия бельгийского короля). Этим действиям попытался противостоять член Военного совета Группы оккупационных войск в Германии генерал К. Ф. Телегин, но был немедленно арестован и заключен на 10 лет.
С весны 1947 г. Серов получил должность первого заместителя наркома внутренних дел СССР. Ему непосредственно подчинялись Главное управление по борьбе с бандитизмом, пограничные войска, милиция, отдел правительственной связи, отдел контрразведки, учетно-статистический и шифровальный спецотделы. На этой должности он прославился интригами, с помощью которых устранял своих противников. Так, Серов постоянно направлял записки на имя И. В. Сталина с обвинениями в адрес В. С. Абакумова. Последний был вынужден искать покровительства у Л. П. Берии, но безуспешно.
После смерти Сталина Серов не только сохранил должность и звание, но был повышен до первого заместителя министра МВД, а в марте 1954 г. стал первым председателем КГБ при Совете Министров СССР. В 1956 – 1961 гг. он становится членом Центрального комитета КПСС, пользуется неограниченной властью и без условным доверием Н. С. Хрущева, обеспечивая ему политическую и физическую безопасность. В 1951 – 1950 гг. и в 1958 – 1962 гг. Иван Серов был депутатом Верховного Совета СССР.
Во время волнений в Венгрии в 1956 г. Серов выезжал туда для руководства органами государственной безопасности. На месте он незамедлительно организовал массовые аресты и высылку в Сибирь более 5 000 человек. Во время попытки внутрипартийной группы Л. М. Кагановича, В. М. Молотова, Г. М. Маленкова и других добиться отстранения Хрущева от власти Иван Серов фактически спас положение, организовав доставку в Москву на военных вертолетах более 100 преданных и благонадежных членов ЦК, которые поддержали Хрущева и смогли сорвать «антипартийный заговор».
Разумеется, до бесконечности это продолжаться не могло, и постепенно вокруг Серова начали сгущаться тучи. Его противники завели речь о присвоенных им военных трофеях. Однако более опасным для карьеры всесильного сторонника Хрущева оказался компромат, старательно собранный на него новым главой МВД Н. П. Дудоровым. Озабоченный проблемами во вверенном ему ведомстве и всевластием Серова, он лично доложил Хрущеву, что его верный фаворит имеет серьезное пятно в биографии. Он обнародовал неслыханный по тем временам факт – отец председателя КГБ СССР, конный урядник Александр Серов, служил при царском режиме старшим офицером Кадомской политической тюрьмы под Вологдой. В этой тюрьме в тяжелых условиях содержались многие революционеры и политзаключенные. Сокрытие этих подробностей покачнуло положение Серова, но не настолько, насколько этого хотелось бы его противникам.
Многолетняя дружба с Н. С. Хрущевым на этот раз спасла его не только от разжалования и тюрьмы, но и от партийного взыскания. Бельгийскую корону, по словам очевидцев, без лишнего шума вернули ее истинным владельцам, а председатель КГБ И. Серов в конце 1958 г. был назначен начальником Главного разведывательного управления Генштаба (ГРУ). По словам некоторых коллег, в ГРУ он ничем особенным не отличился. Вместе с тем именно он считается одним из изобретателей техники тонкой дезинформации, когда настоящие секреты маскируются созданными специально, отвлекающими противника от главного. Не на пользу Серову впоследствии пошло и покровительство знаменитому перебежчику полковнику О. В. Пеньковскому, завербованному американской разведкой. В феврале 1963 г. после разоблачения «иностранного шпиона полковника ГРУ О. В. Пеньковского», Иван Серов «за потерю политической бдительности и недостойные поступки» был снят со всех постов, понижен в звании до генерал-майора, а также лишен звания Героя Советского Союза и ордена Ленина. Тогда же он был отправлен помощником командующего по учебным заведениям в Туркестанском и Приволжском военных округах.