После смерти Ленина 21 января 1924 оказался в изоляции в высшем партийном руководстве. На XIII съезде в мае 1924 подвергся резкой критике практически всех выступавших делегатов. В ответ осенью 1924 опубликовал статью Уроки Октября, где осудил поведение Зиновьева и Каменева во время Октябрьской революции и возложил на них ответственность за провал коммунистического восстания в Германии в 1923. Критиковал триумвират за бюрократизацию партии; призывал активно вовлекать в ее ряды молодые кадры. В 26 января 1925 смещен с поста председателя Реввоенсовета. В 1926 вступил в союз с Зиновьевым и Каменевым против группы Сталина. Требовал свободы внутрипартийных дискуссий, укрепления диктатуры пролетариата, борьбы с кулачеством; обвинял партийное руководство за измену идеалам Октября и отказ от идеи мировой революции; осудил сталинскую теорию о возможности построения социализма в одной отдельно взятой стране. За «антипартийную деятельность» и «мелкобуржуазный уклон» в октябре 1926 выведен из Поли