В декабре 1934 года на партийной конференции в Инсбруке Райнтхаллер предложил объединить в единый фронт все прогерманские силы Австрии и добиваться прихода к власти легальным путем. В это время Кальтенбруннер стал его личным секретарем, что позволило ему познакомиться с известным венским адвокатом, личным поверенным Шушнига и активным членом национал-социалистской Артуром Зейсс-Инквартом и многими другими полезными людьми. Одновременно он получил повышение по линии СС. После провала путча австрийские части СС были переформированы и переименованы в оберабшнит СС «Дунай». В 8-й Абшнит СС были сведены 52-й штандарт (Нижняя Австрия) и 37-й штандарт (Линц), командиром которого Гиммлер назначил Эрнста Кальтенбруннера.
Однако Райнтхаллер не смог договориться с фон Шушнигом, и Кальтенбруннер, принимавший активное участие в переговорах, вновь отправился в тюрьму. Его обвинили в пропаганде нацизма в армии и передали военному трибуналу, что вполне могло окончиться расстрелом. Но суд смог доказать только членство Кальтенбруннера в запрещенных законом СС и приговорил к 6 месяцам тюрьмы, которые покрылись сроком предварительного заключения. В это время многие члены нацисткой партии эмигрировали из Австрии, но Эрнст Кальтенбруннер получил личный приказ Гиммлера оставаться на родине. Сразу после выхода из тюрьмы он был назначен командиром 8-го абшнита СС. К этому времени австрийские СС были основательно «почищены» -- специальная комиссия В Мюнхене под руководством обергруппенфюрера Альфреда Биглера уволила более половины их личного состава, то есть всех, кто был замешан в путче.
Позиции Кальтенбруннера окрепли настолько, что он открыто игнорировал командующего австрийскими СС оберфюрера Карла Тауза, обращаясь по всех вопросам напрямую в Берлин в Гиммлеру или Гейдриху. С 1936 года по именному распоряжению рейхсфюрера СС он стал получать жалование из столицы Рейха и получил право распоряжаться денежными фондами, выделяемыми Берлином для финансирования австрийского нацистского подполья.
11 июля 1936 года фон Шушниг подписал с Гитлером договор о дружбе, к которому прилагался секретный протокол, содержащий своего рода джентльменское соглашение. Австрийский канцлер прекращал репрессии против нацистов, а фюрер официально признавал независимость Австрии. Кроме того, Шушниг обязался согласовывать свою внешнюю политику с действиями Берлина. Сразу после этого в Австрии была объявлена амнистия всем осужденным членам национал-социалистской партии, которая выходила из подполья и получала возможность заниматься легальной политической деятельностью. Гитлер со своей стороны приказал австрийским нацистам свернуть всю нелегальную работу.
В январе 1937 года Эрнст Кальтенбруннер был назначен командующим оберабшнита СС «Дунай». Теперь главной задачей Кальтенбруннера стала медленная и планомерная подготовка аншлюса и одновременно сдерживание частей СС от преждевременных выступлений, которые могли только испортить все дело и спровоцировать международный кризис. В марте 1937 года венская полиция раскрыла явку СС и выяснила, что Кальтенбруннер является главою австрийских эсэсовцев, чья деятельность не подпадала под соглашение 11 июля и была по-прежнему запрещена. Уже был выписал орден на арест Кальтенбруннера, когда в дело вмешался Зейсс-Инкварт. Он смог убедить венские власти оставить лидера СС в покое. Однако спустя два месяца Кальтенбруннера все равно арестовали в Линце, правда, почти сразу же и освободили. Шеф австрийских СС стал связующим звеном между Берлином и Зейссом-Инквартом, занявшим лидирующее положение в местной нацисткой партии. Одновременно Кальтербруннер создал эффективную разведывательную сеть, которая проникла во все сферы жизни австрийского государства и стала основой для подготовки оккупации этой страны. Сам еще не зная того, Кальтенбруннер своим увлечением разведкой прокладывал себе дорогу в главный офис РСХА.
Однако, стремительный развал Австрии и присоединение ее к Рейху в феврале 1938 года стало полной неожиданностью как для Зейсс-Инкварта, так и для Кальтенбруннера, которых Берлин до последней минуты держал в полном неведении относительно грядущего аншлюсса. Только днем 11 марта 1938 года, когда президент Австрии Вильгельм Миклас под давлением Гитлера назначил Зейсса-Инкварта федеральным канцлером, Эрнст Кальтенбруннер и глава австрийских штурмовиков Иоханнес Лукеш узнали о грядущем присоединении. Кальтенрбуннер едва успел собрать 700 эсэсовцев, чтобы окружить резиденцию канцлера и охранять ее до подхода частей вермахта. Затем он бросился к телефону и начал передавать на места гауляйтерам приказы захватить власть в свои руки при помощи отрядов СС. В 10 часов вечера 50 эсэсовцев под командованием адъютанта Кальтенбруннера оберштурмфюрера Феликса Риннера заняли здание федеральной канцелярии в центре Вены, где спустя еще три часа воцарился Зейсс-Инкварт.
Кальтенбруннер рассчитывал на кресло государственного секретаря безопасности и уже получил санкцию Геринга, но Гейдрих воспротивился этому. Дело в том, что Эрнст Кальтенбрунер был законченным алкоголиком, а шеф РСХА терпеть не мог пьяниц. В итоге, после аншлюса ему пришлось довольствоваться должностью начальника СС и полиции в Вене. Действительно, эта личность уже тогда вызывала отвращение даже у соратников-нацистов. В своих мемуарах Вальтер Шелленберг поделился впечатлением от первой встречи с Кальтенбруннером: «Когда я увидел его, меня чуть не стошнило. У него во рту было всего лишь несколько зубов, причем все гнилые. Когда я смотрел на его руки, у меня всегда было такое чувство, что это конечности старой гориллы. Они были слишком короткие, а пальцы пожелтели от дыма – Кальтенбруннер курил по сто сигарет в день».
Разочаровавшись, Эрнст Кальтенбруннер решил, что после аншлюса цель всей его жизни выполнена и ему остается только стареть на «теплом» посту в Вене. Однако, если даже Кальтенбруннер серьезно считал, что его политическая карьера закончена, он сильно ошибался. Она только начиналась.
1 мая 1939 года Австрия, переименованная теперь в Остмарк, прекратила свое существование как территориальная единица. Кабинет министров Зейсс-Инкварта был распущен, а вся страна поделена на гау, которые вошли по отдельности в состав Третьего рейха и подчинялись напрямую Берлину. Кальтенбруннер же стал всего лишь командующим оберабшнита СС «Дунай». Только год спустя Гиммлер назначил его командующим СС и полицией 17-го военного округа, в который вошли Вена, Нижняя и Верхняя Австрия, а также часть Бургенланда.
Сразу же после аншлюса Эрнст Кальтенбруннер вступил в скрытую конфронтацию с Гейдрихом, который открыто игнорировал главу австрийских эсэсовцев. В ночь с 12 на 13 марта по приказу шефа РСХА в Вену прибыли Шелленберг и Эйхманн, которые по заранее подготовленным спискам должны были провести аресты видных антифашистов и влиятельных евреев. Эйхманн вскоре был назначен личным представителем Гейдриха в Австрии, и вместе с венским инспектором гестапо и СД Вальтером Штахлекером начал действовать за спиной Кальтенбруннера. Они создали в Вене Главное управление еврейской эмиграции, которое единолично занималось разрешением «еврейского вопроса», полностью игнорируя существование командующего оберабшнитом «Дунай». Кроме того, шефом венского гестапо был назначен ближайший сподвижник Гейдриха по Мюнхену Франц Йозеф Хубер, который также подчинялся напрямую Берлину и не собирался отчитываться перед Эрнстом Кальтенбруннером. Аналогично обстояло дело и с венским отделом СД, который возглавлял Фридрих Польте.
Таким образом, Кальтенбруннер оказался полностью отстранен от реальной власти и лишен возможности распоряжаться собственностью, конфискованной у евреев. Он пытался жаловаться Гиммлеру, но все было бесполезно – рейхсфюрер СС предпочитал не вмешиваться в дела шефа РСХА. Однако, как глава СС округа, он принял участие в депортации австрийских евреев в Восточную Европу. К концу 1942 года более 47 тысяч евреев были вывезены в гетто и лагеря в Польшу, Богемию, Белоруссию и Латвию. Являясь командующим местных частей СС «Мертвая голова», Кальтенбруннер активно занимался вопросами создания и функционирования концентрационных лагерей. Самым зловещим его детищем был Маутхаузен.
