После гибели Гейдриха Гитлер медлил с назначением нового главы РСХА: этот пост пустовал более 8 месяцев! У него под рукой было достаточно закаленных убийц, но на это место требовался человек особой закваски. Фюреру нужен был исполнитель, чьи личные интересы полностью совпадали бы со служебными, кроме того, он должен был быть фанатичным нацистом. Эрнст Кальтенбруннер принадлежал именно к этой категории людей, кроме того, он родился всего в нескольких десятков километров от Браунау, те есть был земляком фюрера. Они даже учились в одной и тоже же школе. В высших эшелонах партии ходили слухи, что именно это обстоятельство сыграло решающую роль в назначении Кальтенбруннера шефом Главного управления имперской безопасности.
Кальтенбруннеры издавна жили в небольшим городке Рид на австро-баварской границе. Длинная цепочка сельских ремесленников, славившихся на всю округу своими косами, предшествовала деду будущего обергруппенфюрера СС, который первым забыл дорогу в кузницу и стал адвокатом. Его сын Гуго Кальтенбруннер также презрел ремесло предков и продолжил дело отца. Кроме того, он заинтересовался политикой. С 1893 по 1898 году, обучаясь на юридическом факультете университета Граца, Кальтенбруннер был активным членом националистической студенческой корпорации «Арминия». В то время среди буршей этой корпорации встречались и евреи, поскольку главной политической целью союза была борьба с "засилием" славянского элемента в Австро-Венгрии. Корпоранты также разделяли взгляды известного австрийского политического деятеля Георга фон Шонерера, одного из идеологических предшественников Гитлера.
После окончания университета Гуго Кальтенбруннер вернулся в родные места и завел практику в городке Рааб, где 4 октября 1903 года у него родился сын Эрнст. Вскоре семья переехала в Линц. Если старший Кальтенбруннер славился своим антиклерикальными настроениями, то его сын наоборот испытывал сильное влечение в католичеству, что не могло не вызывать недовольство отца. Однако, только уже будучи учеников в реальной гимназии Линца Эрнст поддался уговорам отца и без особого энтузиазма вступил в антиклерикальный молодежный союз «Гогенштауфен».
В конце концов, влияние отца сало сказываться на формировании характера молодого Кальтенбруннера. Поступив в 1921 году на юридический факультет университета Граца, он сразу же вступил в корпорацию «Арминия», став один из самых активные ее членов. Эрнст Кальтенбруннер стал инициатором и организатором бойкота еврейских студентов и профессоров университета, а также вступил в борьбу с клерикальной корпорацией буршей «Каролина». Однако, с 1924 года он отошел от активной политической жизни, поскольку родители не могли больше помогать ему материально. Теперь Кальтенбруннер был вынужден самостоятельно зарабатывать себе на жизнь и платить за учебу. Чтобы свести концы с концами, сразу после лекций Эрнст Кальтенбруннер отправлялся в забой, где работал шахтером в ночную смену. В 1926 году он получил диплом доктора права и смог покинуть шахту, чтобы до конца жизни проработать за письменным столом.
В течении двух последующих лет Эрнст Кальтенбруннер провел в постоянных поисках достойного его диплома места, часто меняя одну адвокатскую контору на другую. Свободное время он тратил на безуспешные поиски круга друзей, которые разделяли бы его ультраправые политические взгляды. Только в 1928 году он нашел таких людей и сразу же вступил в их организацию – линцкую секцию Германского фелькишского гимнастического союза (через несколько лет это объединения станет базой для подготовки австрийских эсэсовцев). Одновременно он наладил контакты с отрядами верхнеавстрийского Хайматшутца (Heimatschutz).
Эта организация, стаявшая на позициях крайнего антисемитизма и выступавшая за влияния Австрии и Германии, финансировалась «Организацией Эшериха» из Баварии. Ее главою был граф Эрнст Рюдигер фон Штархемберг, в начале 20-х годов сражавшийся в поляками в Силезии в радах фрайкора «Оберланд», принимавшего участие в мюнхенском путче Гитлера. Среди восхищенных поклонников графа Штархемберга был и молодой Кальтенбруннер.
Он вступил в Хаймшутц в 1929 году, когда его финансовое положение было просто катастрофическим. В отличии от большинства своих сверстников с дипломами, которые, несмотря на разразившийся экономический кризис еще могли обеспечить себе более-менее достойный уровень жизни, Кальтенбруннер был безработным. Однако, эта организация не оправдала его ожиданий, и спустя пять месяцев Эрнст Кальтенбруннер покинул ряды Хаймшутца, вступив 18 октября 1930 года в Австрийскую национал-социалистскую рабочую партию – филиал НСДАП.
Теперь Кальтенбруннер почувствовал, что попал туда, куда так давно стремился. Его устраивала жесткая структура нацисткой партии с харизматическим лидером во главе, идеология которой базировалась на стремлении создать чистое в расовом отношении германское общество, объединив в единый Рейх всех немцев. Обретя душевное спокойствие, Эрнст Кальтенбруннер смог поправить и свои финансовые дела. Партии нужны были люди с дипломами, и Кальтенбруннер довольно быстро занял весьма высокое положение. Кроме того, он организовал платные юридические консультации для членов партии и сочувствующих нацистскому движению.
В начале 1931 года он по партийным делам прибыл в Мюнхен, где встретился с Зеппом Дитихом, который и предложил ему вступить в СС. 31 августа того же года Эрнст Кальтенбруннер был занесен в книгу СС под номером 13039. Он стал членом линцкого штурма 37-го штандарта СС, входящего в 1-й абшнит СС под командованием штандартенфюрера Дитриха, штаб которого был расположен в Мюнхене. В конце 1931 года австрийские СС были выведены в отдельный 8-й абшнит, который подчинялся напрямую Гиммлеру. Спустя несколько месяцев Кальтенбруннер стал командиром линцкого штурма СС. К этому времени в Австрии насчитывалось всего 2177 эсэсовцев, которые не подчинялись ни руководству местной нацисткой партии ни командованию австрийских СА, а получали приказы напрямую из Мюнхена.
Главной задачей линцкой роты СС была охрана здания администрации гауляйтера Верхней Австрии и также поддержание порядка на митингах нацистов. На практике это выглядело следующим образом. 27 мая 1932 года 25 эсэсовцев Кальтенбруннера в сопровождении своего шефа и гауляйтера Андреаса Болека порвались в линцкий Фольскгартен, где проходил митинг социал-демократов, и устроили там побоище, длившееся с 8 часов вечера до 11 часов утра. В неравной схватке с полицией отличился и сам Кальтенбруннер – он получил пивной кружкой по голове и был доставлен в больницу. Его доблесть не осталась незамеченной руководством, и спустя полгода он стал официальным юридическим консультантом 8-го абшнита СС. Теперь его обязанностью стало вытаскивать из тюрем и судов австрийских эсэсовцев и штурмовиков. Это провело к окончательному разрыву Эрнста Кальтенбруннера с отцом, который не смог смириться с тем, что сын использует полученные в университете знания на благо откровенных уголовников.
Весной 1932 года в Австрии было сформировано правительство во главе с Энгельбертом Дольфусом. Год спустя новый австрийский канцлер распустил парламент и ввел в стране чрезвычайное положение, чтобы не позволить красным либо коричневым захватить власть в стране. Дольфус прекрасно понимал, что вступать в дискуссии с радикалами бесполезно, поэтому нацистская и коммунистическая партии были запрещены, а их активные члены арестованы и отправлены в специально созданные для них концентрационные лагеря, самыми известными из которых были Веллерсдорф (Нижняя Австрия) и Кайзерштайнбрух (Верхняя Австрия).
В январе 1934 года Кальтенбруннер принял участие в организации нескольких диверсионных актов, после чего он был схвачен полицией и отправлен в Кайзерштайнбрух. Находясь в заключении, в апреле того же года Эрнст Кальтенбруннер и его товарищи по бараку объявили голодовку, которую вскоре подхватил весь лагерь. Государственный секретарь безопасности Людвиг Карвински попробовал вести переговоры с Кальтенбруннером, но он требовал освобождения и полной реабилитации всех заключенных-нацистов и продолжал голодать. Через неделю голодающих перевезли в госпиталь в Вене и после лечения освободили. Концлагерь Кайзерштайнбрух был расформирован; 90 процентов заключенных нацистов выпустили на свободу, а остальных отправили к коммунистам в Веллерсдорф.
В лагере Эрнст Кальтенбруннер свел знакомство с известным австрийским нацистом Антоном Райнтхаллером, который был хорошо знаком с Гессом и Даре. Именно он отговорил будущего шефа РСХА от участие в заранее обреченном на провал нацистском путче 25 июля 1934 года.
