В начале 1943 г. Кальтенбруннер заявил, что все разведывательные службы Рейха должны быть сведены в одно ведомство, т.е. под крышу возглавляемого из после смерти Гейдриха РСХА. По его мнению, разведка министерства иностранных дел (2-й отдел «Германия» под началом Мартина Лютера) и абвер Канариса саботируют работу СД. Материал на Канариса начал собирать еще Гейдрих, которые очень скоро убедился в измене адмирала.
В ходе тайного расследования Мюллер установил по крайней мере три стопроцентно достоверных факта: 1) в 1940 году абвер выдал западным союзникам планы военных операций вермахта в Северной и Западной Европе; 2) Канарис сам на протяжении 1922-1935 годов передавал британской военно-морской разведки сверхсекретные данные о строительстве Германией подводных лодок; 3) зимой 1939-40 года при посредничестве Ватикана абвер начадил контакты с западными союзниками и вел переговоры о будущем послевоенной Германии. Однако, узнав об этом Гейдрих повел себя довольно странно. Вместо того, чтобы арестовать Канариса, он созвал в начале 1942 года в пражском дворце Градчаны конференцию абвера СД , гестапо и крипо, на которой предложил слить военную разведку с РСХА.
Вообще, отношения между Гейдрихом и Канарисом носили весьма странный характер: с одной стороны, адмирал выгнал будущего шефа РСХА с флота, а с другой, скрипач Гейдрих поддерживал самые теплые дружеские отношения с женой Канариса Эрикой, большой любительницей музыки. Более того, сам Гиммлер, зная об измене Канариса, по непонятным причинам продолжал оказывать адмиралу покровительство. Теперь же Кальтенбруннер решил покончить с этим положением вещей. Канарис также не питал к Кальтенбруннеру особых симпатий и за глаза называл нового шефа РСХА гориллой с руками убийцы.
Едва вступив в должность и ознакомившись с собранным Мюллером материалом, Кальтенбруннер предоставил Гиммлеру подробный доклад о положении дел в абвере. Но, к его удивлению рейхсфюрер СС отказался передать этот доклад Гитлеру. Только после того, как абвер «проморгал» высадку союзников в Италии, а Канарис вступил в переговоры с маршалом Бадольо, который подписал мир с англо-американцами, Кальтенбруннер и Шелленберг получили санкцию Гиммлера на начало расследования.
В течении января-февраля 1944 года СД арестовало несколько офицеров абвера, открыто сотрудничавших с британской разведкой. В конце концов Генрих Гиммлер доложил обо всем Гитлеру и 12 февраля фюрер подписал указ о вхождении абвера РСХА. Рейхсфюрер СС назначался главою всей германской разведки. Адмирал Канарис был отправлен в отставку. После долгих консультаций, 14 мая того же года Гиммлер и Кейтель подписали соглашение о расформировании абвера и вхождении его отделов в структуру Главного управления имперской безопасности.
Однако, Кальтенбруннер на этом не успокоился и продолжать «копать» под Канариса. 20 июля 1944 года, сразу после покушения на фюрера, адмирал и его ближайшие соратники: начальник абверовского отдела Z (кадры и администрация) генерал-майор Ханс Остер и полковник Ханс фон Донани, были арестованы. В сентябре в ходе обыска в Цоссене, где размещался штаб абвера, СД обнаружило материалы, из которых следовало, что Канарис примкнул к движению Сопротивления еще в 1938 году во время кризиса Фрича-Бломберга. Кальтербруннер немедленно доложил об этом Борману и получил приказ расследовать дело дальше. 4 апреля 45-го года агенты РСХА нашли в Цоссене секретный дневник Канариса, который был представлен Гитлеру в качестве последнего и главного доказательства измены адмирала – следствие было закончено и военные разведчики были переданы в руки трибунала СС. 8 апреля 1945 года фон Донани был повешен в концлагере Заксенхаухен. На следующий день Канарис и Остер были казнены в Флессенбурге.