Он сознавал, что свержение режима может быть осуществлено только людьми, которые занимают влиятельные посты в правительстве и вермахте. Но, кроме того, он считал, что не имеет права сдавать ключевой пост главы разведки, потому что у него нет гарантий в том, что возможный преемник сможет более успешно противостоять проискам гестапо. Наконец, возможно, некоторую роль сыграла мысль, что он обязан и далее обеспечивать необходимое прикрытие для Остера и младших сотрудников, которые вместе с ним ведут неустанную борьбу с партией и СС.
Логическим выводом из этого решения является то, что Канарис в последующий период принимает активное участие в деятельности Остера, направленной на подготовку устранения национал-социалистического господства, и ищет контакты с другими группами Сопротивления; Остер держал его в курсе всего, что он предпринимал в этой области. Кроме того, он с некоторых пор связан с Шахтом, он участвует в обмене мнениями с группой служащих из отдела дипломатической службы, среди них братья Тео и Эрих Кордт, которые со знанием дела и под прикрытием Вайцзеккера стремятся подготовить за границей почву для будущего немецкого правительства, свободного от шлака национал-социализма. Несмотря на многие разочарования он снова на своей работе, чтобы довести до сознания генералов, занимающих высокие ключевые посты, что армия должна взять инициативу по свержению Гитлера. Можно видеть, что из маленькой войны против самых дурных проявлений национал-социализма постепенно развертывается война против режима в целом.
Подготовка Остера к государственному перевороту велась с большой осмотрительностью. Остер и близкие ему сотрудники положили в основу своих планов и исследований книгу с названием «Техника государственного переворота», вышедшую в начале тридцатых годов под псевдонимом Малапарте вскоре после «Захвата власти», запрещенной гитлеровским правительством; кроме того, был сделан очень подробный анализ путча Каппа и ноябрьского путча 1923 г. в Мюнхене и выведено обоснование их правила. Остер — и Канарис, с которым тот часто обсуждал свои планы, был с ним согласен — исходил не из покушения на Гитлера, как это сделали после него Гальдер, а затем инициаторы восстания 20 июля 1944 г. Более того, его концепцией было не убивать Гитлера, а арестовать его и объявить душевнобольным. Канарис и Остер сходились на том, что государственный переворот мог бы удаться только при особых политических сопутствующих обстоятельствах. Чтобы разорвать путы, в которых Гитлер держал большую часть населения, которое отнюдь не было настроено национал-социалистически, нужно было разоблачить лживость его миролюбивых заверений. Следовало убедить немецкий народ, который в преобладающем большинстве желал мира, что Гитлер поставил его на грань войны и что свержение Гитлера преследует непосредственную цель предотвратить эту войну. Заговорщики хорошо понимали, что ожидание момента, когда Гитлер ясно обнаружит свои истинные намерения, было очень рискованным, однако у них не было альтернативы, ведь нужно было избежать кровавой гражданской войны против обманутой части населения.
Некоторое время при разработке этих планов они также обдумывали, не будет ли целесообразным на первом этапе запланированного переворота поставить во главе правительства Геринга, потому что было известно, что «железный» Геринг, по крайней мере в то время, отрицательно относился к идее скорой войны. Это позднее подтвердилось в его позиции как перед мюнхенским соглашением, так и в эпизоде Далеруса в августе 1939 г. С самого начала такая возможность предполагалась только на переходный период с непосредственной целью расколоть в момент переворота национал-социалистические ряды. Однако после обстоятельных размышлений эту мысль пришлось отбросить.
В планах того периода они избежали многих ошибок, которые были совершены позднее, при неудавшейся попытке переворота 20 июля 1944 г. Например, план, разработанный под руководством Остера, предусматривал, что караульный полк Берлина — чтобы не втягивать его без необходимости в столкновение морального характера — будет подключен только тогда, когда они уже будут перед свершившимся фактом. Арест Гитлера следовало произвести как можно более незаметно в рейхсканцелярии. Небольшая группа решительно настроенных молодых людей должна была под убедительным предлогом направиться в рейхсканцелярию, там, не привлекая большого внимания, арестовать Гитлера и как можно скорее, в автомобиле, исчезнуть с ним из рейхсканцелярии и столицы. И лишь после этого начать захват правительственного квартала.