Виктор был младшим сыном в семье князя Ивана Ивановича Барятинского и его супруги Марии Федоровны, урожденной графини фон Келлер. Он появился на свет в июне 1823 года в селе Ивановское Льговского уезда Курской губернии. Своего отца Виктор не помнил, так как Иван Иванович скончался, когда тот был еще слишком мал. Когда мальчику было семь лет, мать взяла его и остальных шестерых детей и перебралась в Петербург. Виктор вспоминал: Матушка ездила ко Двору, и Их Величества выразили желание видеть её детей...

– Оксан, послушай, – Его голос дрожал от напряжения. – Это было срочно. Маме нужна операция, я не мог просто сидеть и смотреть, как она мучается. Оксана замерла. Её глаза, обычно тёплые, сейчас были холодными, как февральское утро за окном их московской квартиры. Пятнадцать лет брака, двое детей, бесконечные вечера за обсуждением планов на будущее – и вот он, её Дима, сидит перед ней и признаётся, что их сбережения, которые они копили три года, просто исчезли. – Срочно? – переспросила она, стараясь держать себя в руках...