Родился 1 июля 1847 года в Берлине. Сын известного швейцарского историка. Вырос в Базеле, после сдачи экзамена на аттестат зрелости отправился в путешествие на Восток. После получения докторской степени в 1869 году некоторое время был учителем гимназии в Базеле. Затем стал частным лектором и доцентом древней истории Гейдельбергского университета. В 1878 году был назначен заведующим кафедрой классической филологии и древней истории Йенского университета. В связи с этим стал директором филологического семинара, а с 1885 года — директором семинара древней истории. Он написал множество эссе в многочисленных филологических, богословских журналах и периодических изданиях. Так из-под его пера вышла статья «Армения» в 3-м издании «Реальной энциклопедии протестантского богословия и церкви». Теологический факультет Йенского университета присвоил Гельцеру звание почётного доктора в 1897 году. Он также стал членом Королевской Саксонской академии наук и членом-корреспондентом Баварской академии на