В годы гражданской войны слава Пепеляева была огромной. Тем не менее, взять Вятку и соединиться с войсками генерала Миллера не удалось. В ноябре 1919 года был брошен Омск и началось повальное бегство. Армия Пепеляева ещё удерживала район Томска, но надежд на успех не было. Первая Сибирская армия генерала Пепеляева погибла целиком на участке между Томском и Красноярском, прикрывая отход к Иркутску и далее, за озеро Байкал, двух других армий - Каппеля и Войцеховского. Свалившийся в тифу генерал Пепеляев избежал плена.
В январе 1920 Пепеляев был доставлен в Верхеудинск, где он и выздоровел. 11 марта Пепеляев из остатков 1-й армии создал Сибирский партизанский отряд, с которым ушёл в Сретенск. Но так как он находился в подчинении у атамана Семёнова, а тот сотрудничал с японцами, Пепеляев решил покинуть пределы России и 20 апреля 1920 вместе с семьёй выехал в Харбин. В конце апреля - начале мая 1920 Пепеляев со своей семьёй поселился в Харбине.
Не имея средств, бывший колчаковский генерал зарабатывал на жизнь, работая плотником, извозчиком, грузчиком и рыболовом. К нему поступали предложения, как от белых, так и от красных о сотрудничестве. К примеру, Амурский большевистский ревком предлагал ему поделиться его богатым военным опытом, но генерал отверг все предложения. Впрочем, через два года Пепеляев встал во главе небольшого отряда из 720 человек, который должен был прийти на помощь повстанцам Якутии. Однако к началу похода антибольшевистское восстание потерпело поражение и Пепеляеву пришлось опираться только на собственные силы. В итоге 17 июня 1923 года остатки белогвардейского отряда без сопротивления сдались красноармейцам.
Во Владивостоке военный суд приговорил Пепеляева к казни, но он написал письмо Калинину с просьбой о помиловании. Просьба была рассмотрена, и в январе 1924 в Чите состоялся суд, приговоривший Пепеляева к 10 годам тюрьмы. Срок Пепеляев должен был отбывать в Ярославском политизоляторе. Первые два года Пепеляев провёл в одиночной камере, в 1926 ему разрешили заняться работой. Он работал плотником, стекольщиком и столяром. Пепеляеву даже была разрешена переписка с его женой в Харбине.
В 1933 году закончился срок Пепеляева, но ему его еще в 32-м продлили на три года. После освобождения Анатолия Николаевича поселили в Воронеже, где он устроился столяром.
В августе 1937-го Пепеляев был арестован вторично и доставлен в Новосибирск, где ему было представлено обвинение в создании контрреволюционной организации, и 14 января 1938 года его расстреляли. Любопытно, что через 20 дней был расстрелян победитель Пепеляева в якутской тайге - витебский латыша Ян Строд. Он, как и его противник был участником Первой мировой, Георгиевским кавалером, награжденным еще и четырьмя орденами Красного Знамени.
20 октября 1989 года прокуратура Новосибирской области реабилитировала белогвардейского генерала Анатолия Пепеляева. 15 июля 2011 года в Томске на городском кладбище "Бактин" состоялось торжественное открытие памятника генералу-лейтенанту Николаю Пепеляеву и его сыну генералу Анатолию Пепеляеву.