Канарис действително установява близки и както изглежда, искрено дружески отношения с Хайдрих, в чието лице вижда най-опасен потенциален враг. Хайдрих е поласкан от вниманието на високопоставения военно-морски офицер, може би защото самият той няколко години преди това бил позорно изгонен от ВМФ за аморални провинения. Канарис си купува в околностите на Берлин къща в съседство с къщата на Хайдрих и след известно време двамата стават добри съседи. За началник на контраразузнавателния отдел на абвера, работещ в тесен контакт с гестапо, той назначава един офицер от генералния щаб, който за разлика от много свои колеги постоянно афишира симпатиите си към нацистите и има влиятелни връзки с хитлеристката върхушка. Макар да не изпитва никаква склонност към гуляите, Канарис започва да организира „другарски“ вечеринки за Хайдрих и най-близките му помощници. Сборищата стават редовно в специален малък салон на ресторант „Дом на летците“ на „Принцалбертщрасе“ в съседство с мрачното здание на Гестапо, където се намира ведомството на Хайдрих.
В резултат на извършената от Канарис реорганизация в абвера се създават три главни оперативни отдела.
Предишният Geheimer Meldedienst (същинският разуз-навателен отдел за внедряване и ръководене на агентура и за събиране на разузнавателна информация) е значително разширен и започва да се нарича отдел I, Задача на новия отдел II е диверсионната дейност против потенциалните противници и разлагането на техния тил чрез организиране на метежи и провеждане на „черна пропаганда“. В Бавария е създаден специален учебен лагер за подготовка на диверсанта, а в Берлин и Техеран се организират лаборатории за разработване на необходимата екипировка на диверсантите (както и на агентите на отдел I), включително средства за тайнопис под формата на еликсир за зъби и експлозив, приличащ на брашно. Цялата контраразузнавателна работа е иззета от другите подразделения на абвера и е възложена на отдел III.
За ръководители на тези три отдела Канарис назначава разнохарактерно трио: за началник на отдел I — богаташа Ханс Пикенброк; за началник на отдел II — набожния Хелмут Гроскурт; за началник на особено важния отдел III — пронациста Рудолф Бамлер.
На абвера предстои да разпростре своята мрежа по целия свят, затова Канарис отделя специално внимание на създаването на сигурни канали за връзка със собствената си задгранична агентура както чрез куриери, така и с помощта на технически средства. По поръчение на Канарис фирмата „Телефункен“ създава за неговите агенти специален приемателно-предавателен радиоапарат, който е едновременно и с много малки габарити, и достатъчно мощен за предавания на далечни разстояния. Безспорно високите качества па този апарат, известен под познанието „ЛФУ“, карат сътрудниците на аб-вера не винаги предпазливо да му се доверяват, когато се свързват с агентурата си.
През май 1935 г., в стремежа си да подобри още повече каналите за връзка и да си създаде сигурни оперативни бази в чужбина, Канарис се договаря за сътрудничество с Министерството на външните работи на Германия, в резултат на което германските дипломатически мисии в различните части на света се превръщат в регионални центрове за разузнаване в страните от един или друг регион, а някои германски дипломати стават в тях резиденти. Една от първите инициативи на Канарис след постигнатото споразумение е да се разпратят на агентите специални комплекти от технически средства и шифри в стоманени касети с дипломатическата поща. Ръководителите на мисиите получават ключовете за касетите в отделни запечатани пликове с указание да ги отворят в случай на възникване на война или при кризисни ситуации, и то само след като получат специални сигнали. Такива условни сигнали са думите: за Великобритания — „Наутилус“, за Канада — „Джими“, за САЩ — „Роберт“.
В други запечатани пликове Канарис разпраща спи-съците на агентите на абвера, които вече действуват на територията на съответното дипломатическо представителство. На всеки ръководител на мисия се изпращат чекове чрез „Барклай бенк“ в Лондон с указание да получи срещу тях местна валута и да я държи в личния си сейф за отпускане на суми на агентите при необходимост.
В САЩ такива пратки получават преди всичко германският посланик във Вашингтон, генералните консули в Ню Орлиънс и Сиатъл, а малко по-късно — посланикът в Мексико, временно управляващият в Панама, посланиците в Аржентина, Бразилия, Уругвай, Чили, Колумбия, Перу, резидентите на абвера в Портланд, Орегон и в Колон (зона на Панамския канал).