Новатор родился в 1851 году в Австро-Венгрии. Происходил из дворянского рода и по национальности был сербом. Однако его причисляют к русским изобретателям, поскольку большую часть жизни он провел в России.
Костович закончил Высшее техническое училище и школу судовождения. Некоторое время трудился в торговом флоте — управлял грузопассажирскими судами.
Во время русско-турецкой войны 1877-1878 гг. Костович стал капитаном корабля «Ада», который перевозил русских солдат. С конца 1870-х начал работу в России...