История Алексея Дмитриевича Старцева началась 14 декабря 1825 года, когда его будущий отец, Николай Бестужев, вышел на Сенатскую площадь. До основания Владивостока оставалось еще более 30 лет.
Осужденного по II разряду Бестужева приговорили к пожизненной каторге и отправили в Сибирь. Со временем каторгу сократили до 13 лет, а после этого срока декабрист остался на поселении в городе Селенгинск Иркутской губернии (сейчас это Республика Бурятия). Там Николай Бестужев жил, как бы мы сейчас сказали, в гражданском браке с буряткой Дулмой Сабилаевой.
Злые языки говорили, что дворяне до последнего надеялись вернуться в европейскую Россию, оттого и не вели под венец своих местных жен. В семье родилось двое детей: Алексей (1838-1900) и Екатерина. Дети жили в семье селенгинского купца Д. Д. Старцева и носили его фамилию и отчество, но знали, кто их настоящий отец. В память о своем родителе Алексей Старцев носил перстень, выкованный из кандалов отца в оправе из золота. Получив домашнее образов