Еще в конце 1923 года Адольф Гитлер создал отряд личной охраны (Stabswache), который просуществовал до мюнхенского путча под началом морского лейтенанта Йохана Ульриха Клинча. Выйдя из тюрьмы, в ноябре 1925 году фюрер вновь набрал телохранителей (Stoßtrupp Hitler), которые несколько позднее стали называться «Охранные отряды» (Schutzstaffeln – SS). Первым руководителем СС был Юлиус Шрекк. В начале 1926-го года СС были приданы штабу СА и стали подчиняться Пфефферу фон Заломону, который возглавил штурмовиков вместо уехавшего в Боливию Рема. Во второй половине 20-х годов НСДАП едва избежало раскола. Левое крыло, которое возглавили братья Штрассеры и Геббельс, хотели переориентировать партию на работу с пролетариатом и тесные отношения с коммунистами. Для Гитлера это было полностью неприемлимо, но «левые» нашли горячую поддержку у руководства СА, которое как и коммунисты пополняло свои ряды за счет люмпенов и маргиналов. Встретив прямое сопротивления еще вчерашних друзей, фюрер был вынужден создать внутри партии силу, которая бы подчинялась только ему одному.
В 1924 года Генрих Гиммлер вступил в созданное Грегором Штрассером в Нижней Баварии Национал-социалистскую партию свободы, которая в следующем году влилось в восстановленную после освобождения Гитлера из тюрьмы нацистскую партию. В том же 1925 году старый друг Гиммлера по берлинскому «дну» бывший сутенер Хорст Вессель (автор гимна НСДАП) познакомил его Гитлером. Генрих Гиммлер произвел настолько приятное впечатление на фюрера, что тот сразу же назначил его секретарем Грегора Штрассера в Ландсхуте. К этому посту прилагалось неплохое ежемесячное жалование и мотоцикл, которым молодой агроном гордился не меньше, чем своей новой должностью. Гиммлер быстро пошел вверх, и не прошло и полгода, как он стал заместителем гауляйтера Нижней Баварии-Верхнего Пфальца. В 1926 году его назначили гауляйтером Верхней Баварии-Швабии, а также заместителем имперского руководителя пропаганды Грегора Штрассера. В следующем году Генрих Гиммлер стал заместителем рейхсфюрера СС. 7 апреля 1927 года Гитлер лично вручил ему удостоверение члена СС № 186.
6 января 1929 года двадцатидевятилетний Генрих Гиммлер был назначен рейхсфюрером СС. Именно ему Гитлер поручил формирование отборного войска партии. Поначалу Гиммлер имел в своем распоряжении всего 270 человек, но это были проверенные люди, до конца преданные лично Гитлеру, но к 1932 году численность СС возросла до 60000.
К концу 20-х годов фюрер смог полностью восстановить свое влияние в партии, подорванное заключением в тюрьме и экономической стабилизацией. Летом 1930 года Гитлер, чувствуя за собой силу, решил расправиться со своими противниками внутри партии. В середине июня 30-го года он приказал Геббельсу, который предусмотрительно переметнулся на его сторону, исключить Ото Штрассеров из НСДАП . Под давлением гауляйтера Берлина Геббельса Штрассер уступили, но в столице начались волнения отрядов СА, подчинявшихся бывшему капитану полиции Стеннесу. Испуганный Геббельс запросил помощи у Гиммлера, и когда через несколько дней штурмовики напали на бюро берлинского гауляйтера, их встретили вооруженные эсэсовцы. Так произошло первое кровавое столкновения между СС и СА. Прибывший в столицу Гитлер замирил бунтовавших штурмовиков (перестрелять их он сможет только через четыре года, а пока ему были нужны эти уголовники в коричневых рубашках), и отстранил Пфеффера фон Заломона от руководства СА. Обиженный Золомон уехал в Китай военным советником Чан Кай-ши, а его место занял вызванный из Боливии Эрнст Рем. В благодарность за службу СС получили девиз: «Твоя честь – это верность!»