Александр Александрович фон Таубе родился в Павловске 21 августа 1864 года. Окончил Вторую Санкт-Петербургскую военную гимназию и Михайловское артиллерийское училище. В 1884 году в звании Подпоручика поступил на службу в 3-ю артиллерийскую бригаду.
В 1891 году окончил Николаевскую академию генерального штаба по первому разряду, после чего служил в штабах различных военных округов. Принимал участие в русско-японской войне, командовал 3-м пехотным Нарвским полком. В 1907 году получил звание Генерал-майора.
В Первую Мировую командует пехотной дивизией, но в 1915 году получает тяжёлую контузию и после реабилитации получает назначение на должность начальника штаба Омского военного округа.
После Февральской революции одним из первых переходит на сторону народа. В апреле 1917 г. он поддержал предложение омских большевиков о передаче управления войсками комитетам, что позволило революционным силам вывести солдатские массы из-под влияния враждебного революции командования.
После Октябрьской революции Таубе вместе с руководителями омских большевиков формирует и укрепляет отряды Красной гвардии. Весной 1918 года из Омска выдвигаются первые красноармейские части, направленные на борьбу с белыми атаманами Семёновым и Дутовым.
После восстания Чехословацкого корпуса Таубе становится членом Сибирского верховного военного командования. Военные специалисты противника отмечали, что упорство, с которым сопротивляется Сибирская Красная Армия, в большой степени является результатом умелого руководства главковерха советских войск в Сибири опытного генштабиста и боевого генерала барона Таубе.
После падения Советской власти в Сибири Таубе пытался по поддельным документам пробраться в Москву, чтобы доложить Ленину о положении дел в регионе. Но 2 сентября 1918 года он был арестован белогвардейцами в Бодайбо и приговорён военно-полевым судом в Екатеринбурге к смертной казни.
Ему предлагали публично отказаться от большевизма и обещали высокий пост в белогвардейских войска. Но Таубе ответил так:
Мои седины и контуженные ноги не позволяют мне идти на склоне лет в лагерь интервентов и врагов трудящейся России.
Умер Александр Александрович Таубе в январе 1919 года, закованным в кандалы в одиночной камере смертников екатеринбургской тюрьмы от сыпного тифа.
В Омске на здании, в котором размещался штаб округ (ныне — Музей боевой славы омичей), установлена мемориальная доска в честь сибирского красного генерала Александра Александровича фон Таубе.