Виктор был младшим сыном в семье князя Ивана Ивановича Барятинского и его супруги Марии Федоровны, урожденной графини фон Келлер. Он появился на свет в июне 1823 года в селе Ивановское Льговского уезда Курской губернии. Своего отца Виктор не помнил, так как Иван Иванович скончался, когда тот был еще слишком мал. Когда мальчику было семь лет, мать взяла его и остальных шестерых детей и перебралась в Петербург. Виктор вспоминал: Матушка ездила ко Двору, и Их Величества выразили желание видеть её детей. Она повезла нас в назначенный день в Кремль… Когда уведомили матушку, что Их Величество сейчас пожалует в залу, она нас всех семерых поставила в ряд в порядке возраста каждого, начиная с сестры Ольги и кончая мною. Государь и Императрица подошли и были очень любезны и ласковы. Все сыновья княгини решили пойти по военной стезе и Виктор в том числе. В 1841 году молодой человек окончил курс обучения в Санкт-Петербургском университете и решил пойти на Черноморский флот. Туда он поступил