Зиверс, сначала как генеральный секретарь, а затем как имперский руководитель общества (организационный руководитель) был в курсе всех дел «Аненербе», к тому же Гиммлер доверял ему. Это был хороший стартовый капитал для карьеры внутри СС. Он полагал, что был просто предназначен для того, чтобы заменить Вирта. Устав 1937 года дал ему возможность осуществить свою мечту. Заручившись поддержкой президента (Вюста), Зиверс начал интригу. Он стал распускать слухи, что назначение его на пост почетного председателя было бы логичным шагом в развитии «Аненербе». Вюст, присутствовавший на этих разговорах, подчеркивал, что это было бы не просто логично, но и целесообразно. Даже Райшле, который когда-то благожелательно относился к Вирту, вторил, что прошли все сроки для того, чтобы образумить нынешнего почетного председателя Вирта. К январю 1938 года Вирт сдал последние позиции в «Наследии предков». В это время Вюст совместно с Зиверсом планировали будущую работу «Аненербе», предоставляя свои наброски лично рейхсфюреру СС. Раньше подобные задачи были сферой деятельности Вирта, к которой Зиверса даже не подпускали.
Пик кризиса в «Аненербе» пришелся на май 1938 года. Тогда Вюст и Зиверс написали Вирту нелицеприятное письмо, в котором заявили, что его чудачества противоречили научным и культурным целям рейхсфюрера СС. Авторы письма с «неподдельным» ужасом обнаруживали, что Вирт не понимал ни структуры, ни важнейших задач, ни объема работ, предстоящих «Аненербе». Вюст и Зиверс приходили к уничижительному выводу, что он подменял цели и задачи «Наследия предков» своими собственными научными и исследовательскими интересами. Далее Вирту было даже заявлено, что и свое свободное духовное творчество он должен был согласовывать с руководством СС. В последних строках письма Вюст и Зиверс подчеркивали, что в сложившихся условиях они как представители «Аненербе» наотрез отказались ходатайствовать перед Имперским министерством воспитания и образования о присуждении Вирту научной степени. Не имея возможности продолжать свою работу в рамках «Наследия предков», Вирт теперь потерял всякие надежды и на научную карьеру. Он был подавлен.
Это письмо как никакой другой документ того времени показывало, что Вирт мог продолжить свою исследовательскую деятельность только в одном случае. Он должен был оставить все посты и покинуть «Аненербе». Это шаг он сделал в декабре 1938 года.
Бурные «разборки» между Виртом и новым руководством «Аненербе», как ни парадоксально, фактически никак не отразились на деятельности «Наследия предков». После того как в 1938 году рухнули надежды Вирта создать собственную кафедру в Берлинском университете и получить титул профессора, он отправился в своей дом в Марбурге, где вел жизнь отшельника. Надо подчеркнуть, что он не таил зла на рейхсфюрера и по мере возможности поддерживал с ним контакт. Этому способствовало и то, что, покинув «Аненербе», Вирт все-таки остался хауптштурмфюрером СС, подчиненным лично Гиммлеру. Проведя несколько лет в изоляции, Вирт все же защитил в 1941 году диссертацию и получил звание «профессора — исследователя истории древней символики и религиозности». Этот факт можно было бы не упоминать, если бы после войны не всплыли документы, говорящие о том, что Гиммлер лично противодействовал этому. Получалось, что отношение Гиммлера к нему не изменилось даже после того, как сын Вирта вступил в СС, а у себя на родине, в Голландии, ученый как пособник нацистов был объявлен вне закона. В 1944 году Герман Вирт получил в Геттингене кафедру этнографии, но покинул ее из-за конфликта с местной профессурой.
Но не стоило полагать, что в это время «Аненербе» занималось только лишь идеологической обработкой членов СС. Другой, не менее важной, задачей были геральдические исследования и изучение сакральной символики. Эта работа «Наследия предков» базировалось на желании Гиммлера создать родословную каждого высокопоставленного эсэсовца, которую должен был венчать собственный герб. Подобное намерение вписывалось в общую концепцию создания специфических национал-социалистических традиций, которые начинали прививаться начиная с 1933 года. Чтобы поспособствовать этому начинанию, Гиммлер поставил перед «Аненербе» задачу возвратить в обиход старые ритуальные знаки. Тщеславие рейхсфюрера выражалось не только в том, что он собирался прославить собственных предков, но и в том, что он был намерен выстроить запутанное генеалогическое древо самого Гитлера. Занимаясь составлением родовых гербов Поля и Гейдриха, «Аненербе» неожиданно обнаружило, что свастика использовалась не только в домашнем гербе Гитлера, но и Гиммлера. По их версии, семья Гиммлера стала применять этот символ в 1523 году, то есть почти на век раньше Михаэля Гитлера. Интересно то, что этот Михаэль Гитлер автоматически зачислялся эсэсовскими исследователями в предки фюрера, однако для этого не было никаких оснований, а после войны данный вывод был вообще признан ошибочным.