Другой человек, открыто критиковавший Гиммлера, был Шахт, банкир, безжалостный и амбициозный автократ. Получив от Гитлера должность министра экономики, он был решительно настроен управлять делами на свой лад, хотя в конце концов на этом посту его сменил Геринг. Гизевиус утверждает, что он вместе с одним инженером ездил в резиденцию Шахта и по его просьбе произвел обыск, стараясь найти микрофоны, так как министр подозревал, что агенты Гейдриха шпионят за ним и записывают его резкие замечания. Они нашли микрофон, вмонтированный в телефонную трубку. Шахт в своих мемуарах «Первые 76 лет моей жизни» утверждает, что Гиммлер угрожал ему, когда он принимал должность, и даже предлагал ему уйти в отставку. В ответ Шахт послал ему краткую записку, где говорилось, что он уволится, когда ему прикажет фюрер, а СС лучше убраться с его дороги.
Стратегия, которую избрали Гиммлер и Гейдрих в своих действиях против верховного командования немецкого вермахта, была еще более коварной и привела к печально известным делам против Бломберга и Фрича в 1938 году. Вернер фон Бломберг, гитлеровский министр обороны, уволенный в 1938 году за то, что женился на проститутке, не зная о характеристике, данной ей полицией, с показным энтузиазмом поддерживал Гитлера. Бломберг был высоким, белокурым, привлекательным мужчиной, но его ума или коварства было явно недостаточно, чтобы справиться с теми, кто решил от него избавиться. Его активного противодействия возрастающей милитаризации СС после объявленной Гитлером в 1935 году мобилизации было достаточно, чтобы Гиммлер сделался его врагом.
Вернер фон Фрич был назначен верховным главнокомандующим сухопутных войск в 1934 году без санкции Бломберга на это назначение. У Фрича и Бека, его начальника штаба, который позже участвовал в заговоре армии против Гитлера, по слухам, были разногласия и возражения против призыва на военную службу, хотя Гитлер продолжал доверять им. Слухи эти распространялись Гиммлером и Герингом, который в 1935 году сам хотел командовать армией, и теперь готов был использовать любую возможность, чтобы очернить и Бломберга и Фрича. Атмосфера Берлина была полна слухов о путче и контрпутче.
19 января 1935 года Бломберг, пытаясь возобновить дружеские отношения, пригласил Геринга и Гиммлера выступить перед верховным командованием в академии Кайзера Вильгельма, а они использовали эту возможность, чтобы объяснить армии, что военный переворот будет незаконным. Тем не менее, Бломберг пошел еще дальше в своих стараниях успокоить Гиммлера; он пригласил его в следующем месяце выступить перед собранием армейских офицеров в отеле «Четырех времен года» в Гамбурге. Хотя призыв на военную службу еще не был объявлен, он был уже решенным делом, и Гиммлер отыгрался на Бломберге, заявив, что ряды СС во время войны будут пополнены для борьбы с врагами внутри Германии, в то время как Армия будет сражаться за рубежом; в таких условиях СС могут противостоять любому предательскому удару в спину, как это произошло в 1918 году. Когда он говорил об идеальных людях, которых принимают в СС, казалось, он бросает вызов расовой чистоте офицеров в аудитории.
В январе 1935 года Бломберг назначил Канариса шефом военной разведки — должность, которую Гейдрих, внимательно информировавший предшественника Канариса, предпочел бы перевести в ведомство СД, но в то время это вряд ли было возможно. Так было положено начало непростым отношениям Гейдриха и его старого морского инструктора, заведовавших двумя разными разведывательными службами. Первое рабочее соглашение, известное как «Десять заповедей», ограничивало операции Канариса в военном, но не в политическом шпионаже. Была воссоздана поверхностно дружественная атмосфера, Гейдрих смог разрядить напряжение, сыграв, как прежде, на скрипке в кругу семьи Канариса. Но вскоре адмирал стал бояться Гейдриха и его огромного влияния на Гитлера и приготовился получать секретную информацию о деятельности Гиммлера и Гейдриха от таких людей, как Гель-дорф, начальник берлинской полиции.
Интересы Гиммлера к тому моменту не ограничивались более пределами Германии. Он думал о немцах, живших за рубежом, и в 1936 году пришел к соглашению с Эрнстом Болом, главой иностранной организации нацистской партии, относительно распространения нацизма среди немцев за пределами рейха и шпионажа агентов Гейдриха за границей. Результатом этого вторжения в сферу, которая если и относилась к какому-то отделу, то, скорее, к военной разведке Канариса или к Министерству иностранных дел, явился курьезный инцидент, связанный с заговором Тухачевского против сталинского режима и поддельными документами, которые Гейдрих поставлял советскому правительству.