Виктор был младшим сыном в семье князя Ивана Ивановича Барятинского и его супруги Марии Федоровны, урожденной графини фон Келлер. Он появился на свет в июне 1823 года в селе Ивановское Льговского уезда Курской губернии. Своего отца Виктор не помнил, так как Иван Иванович скончался, когда тот был еще слишком мал. Когда мальчику было семь лет, мать взяла его и остальных шестерых детей и перебралась в Петербург. Виктор вспоминал: Матушка ездила ко Двору, и Их Величества выразили желание видеть её детей...