Родился в 1844 году во Франкфурте-на-Одере, в семье прусского генерала Евгения Антона Теофила фон Подбельского (Eugen Anton Theophil von Podbielski; 1814—1879).
Во франко-прусской войне 1870—1871 годов участвовал в качестве офицера генерального штаба. В 1893 году избран в рейхстаг как консерватор.
В 1897 году был назначен статс-секретарем почт, заменив на этом посту Генриха фон Стефана, и сложил с себя депутатские полномочия. В качестве министра почт он провел некоторые внешние реформы второстепенного значения в организации почты, но возбудил ненависть служащих надзором за их политическим образом мыслей, преследованием за чтение газет оппозиционного направления и т. п.
В 1901 году получил портфель земледелия в прусском кабинете; проявил себя крайним аграрием. Однофамильцы Подбельские, В. фон Подбельский и В. Н. Подбельский, в честь которых названы улицы и станции метро в Берлине (Подбельски аллее) и Москве (Улица Подбельского), возглавляли в своих странах почтовые ведомства.