К 1921 г. Москва установила контроль над большей частью бывшей Российской империи. Теперь пришло время оформить занятые территории в государственное образование. О восстановлении старых форм управления не могло быть и речи. Тогда было решено пойти по пути создания псевдонезависимых государств в составе федерации.
В 1920 году, сразу после окончания гражданской войны, Наркомнац и Совнарком начали определять форму, в которой суждено было существовать молодому советскому государству. В основу был положен следующий принцип: немыслимо, чтобы какая-либо социалистическая нация пожелала отделиться от социалистического содружества наций, чтобы кто-нибудь, не будучи закоренелым врагом советского строя, пожелал бы порвать с тем единством, которое уже было достигнуто.
В Наркомнаце многие считали, что учреждение национальных республик было ошибкой. Однако, как Ленин, так и Сталин настаивали на такой форме организации, которая, правда, была доступна не всем народам. Все народы были разделены на большие и малые. Если у первых допускалось существование национальных республик, то вторые могли рассчитывать только на автономию в рамках РСФСР. Принцип, по которому проходило это разделение был очень прост и основывался на политической целесообразности.
До конца весны 1921 г. РСФСР подписала договоры со всеми национальными республиками. Однако, разница между этими республиками и автономными образованиями в рамках России была невелика, поэтому в высшем партийном руководстве большинству казалось логичным просто превратить союзные республики в автономные единицы расширенной РСФСР. На каким-то этапе этой точки зрения придерживался и Сталин, но Ленин довольно быстро смог его переубедить. Объединение союзных республик на великорусской основе было невыгодно по соображением потенциального дальнейшего расширения СССР.
Сразу же возник вопрос, каким именно образом проводить границы будущих республик. На Востоке в условиях традиционного общества не было наций и народов, существовали только племенные союзы с разной степенью разложения клановых связей. Часть населения, главным образом оседлая, идентифицировала себя по религиозному принципу. Кодифицированных национальных языков часто не существовало. Они распадались на множество диалектов, которые плавно перетекали в языки ближайших соседей. Очень часто в регионе говорили сразу на двух языках, например узбекском и таджикском, поэтому лингвистический признак вовсе не являлся средством национальной идентификации. В соответствии с классической схемой национальное самосознание может возникнуть только в городе. В Туркестане и Закавказье шли подобные процессы, но подавляющая часть населения региона жила в сельской местности, горах, степях и пустынях.
Большевики собирались разрешать все эти проблемы путем нейтрализации потенциальных противников. Поэтому, объединение в республики шло двумя путями: тех, кто мог между собой договориться и слишком усилиться, следовало разделить, а тех, кто готов был убить друг друга, нужно было объединить.
На Кавказе коммунисты вынуждены были пойти на возрождение Горской республики в составе РСФСР. Армении, Грузии и Азербайджану предстояло войти в состав СССР в качестве Закавказской Федерации. Татарстан, Башкирия, Средняя Азия и Казахстан оставались в составе РСФСР. Бухарскую и Хорезмскую республики, где шла перманентная война с басмачами, было решено пока не включать в Союз. Таким образом, 30 декабря 1922 г. на досрочно созванном под предводительством Сталина I съезде советов СССР союзный договор подписали только РСФСР, УССР, БССР и ЗСФСР (от этой республики договор подписали 4 стороны, в том числе и Абхазия).
Поволжские татары, претендовавшие на роль лидера российских мусульман, а в результате революции получившие жалкую автономию, были недовольны создавшимся положением. В ответ на это уже в 1923 г. по прямому приказу Сталина был арестован один из признанных лидеров татарских коммунистов Мирсаит Султан-Галиев. Он был обвинен в разжигании буржуазного национализма, а штамп «султан-галиевщина» стал средством расправы центра с любыми поползновениями к независимости на местах.