В ходе аппаратной борьбы двух силовых ведомств — СС и вермахта — СД Гейдриха принимала участие в отстранении от власти главнокомандующего сухопутными войсками генерал-полковника Вернера фон Фрича и министра обороны Вернера фон Бломберга. На обоих военных был собран компрометирующий материал. Молодая жена фон Бломберга в прошлом была проституткой, разразился скандал, и Гитлер отправил его в отставку. Фрич по подложному свидетельству был обвинён в гомосексуальной связи и тоже смещён со своего поста. Одновременно были смещены или понижены в должности ещё несколько десятков высших военных чинов.
Серьёзные трения существовали также между СД и военной разведкой — абвером, которой руководил бывший покровитель Гейдриха Вильгельм Канарис. На публике оба руководителя сохраняли дружелюбие и даже встречались каждое утро на прогулке. Однако за кулисами каждый пытался вывести другого из игры: по приказу Гейдриха проводились тайные обыски в служебных помещениях Канариса, а тот старательно искал доказательства еврейского происхождения Гейдриха.
И с пропажей своего врага Гейдрих буквально воспрянул и лучился ощущением счастья. Когда его вызвали к Гессу, Гейдрих натянул на лицо маску старательного служаки.
В марте 1933 года Рудольф Гесс был избран депутатом рейхстага и занял в нём второстепенную должность председателя комитета по правам народных представителей, занимая прочное место в верхушке НСДАП, но для широкой общественности по-прежнему оставался тёмной лошадкой. Всё кардинально изменилось 21 апреля 1933 года, когда Гитлер назначил Гесса за несколько дней до его 39-летия своим заместителем по всем партийным делам. Заместитель был призван освободить занятого государственными делами фюрера от повседневных обязанностей партийного лидера и для этого наделялся необходимыми полномочиями принимать решения от имени фюрера по всем вопросам, касающимся партийного руководства. Тем не менее, рейхсляйтеры заместителю фюрера не подчинялись и само название новой должности Гесса «заместитель фюрера» говорило о том, что Гитлер не был готов полностью передать ему власть в партии. Ещё 24 марта 1933 года Гесс был назначен руководителем новообразованного связного штаба НСДАП, размещавшегося в Берлине на Вильгельмштрассе, 64 в здании Государственного министерства Пруссии напротив рейхсканцелярии и в непосредственной близости с многими имперскими и прусскими министерствами. В зале заседаний кабинета министров Гесс, которому были поручены кадровые решения в области государственной службы, занял привилегированное место по левую руку от Гитлера рядом с рейхсминистром внутренних дел Фриком.
1 декабря 1933 года был принят закон об обеспечении единства партии и государства, в исполнение которого Гесс был назначен на должность рейхсминистра без портфеля. Ещё 2 сентября 1933 года Гитлер распорядился снять с Гесса звание имперского руководителя НСДАП, тем самым заместитель фюрера выдвинулся из второго ряда партийного руководства и занял уникальное положение в партийной элите. Указом рейхсканцлера от 22 сентября 1933 года Гесс был выведен из состава СС с сохранением ранга обергруппенфюрера, что означало, что заместитель фюрера не подчиняется впредь никому, кроме самого Гитлера. Тем не менее, неофициально Гесс считался четвёртым лицом в этой элитной организации после Гитлера, Гиммлера и Аумейера и для официальных съёмок с видимым удовольствием одевался в чёрную униформу со всеми регалиями.
Когда Гейдрих вошел в кабинет, то отметил показную простоту своего шефа: повседневной работе сдержанный Гесс обычно носил сравнительно просто пошитую коричневую партийную форму, сапоги и портупею без позолоченных знаков отличия, отличался от многих партийных бонз скромным поведением, воплощал «солдатские добродетели» и считался примером старого партийного бойца, который не зазнался, поднявшись на вершину власти. Национал-социалистическая печать именовала Гесса «совестью партии».