Виктор Петрович Агеев родился 7 июля 1941 года в Москве. Он начал заниматься боксом в 13 лет под руководством тренера Владимира Фроловича Конькова. Через четыре года тренировок Агеев разработал свою уникальную манеру боя, отличающуюся открытой стойкой с опущенными руками и акцентом на защиту.
Стиль Агеева строился на прочной защите и провокации соперника на ошибку. Он опускал левую руку, поднимая плечо для защиты и подготовки контрудара правой. Агеев почти не использовал джебы, предпочитая комбинации защитных движений и мощных контрударов. Его удары правой часто завершали бой досрочно, даже на высшем уровне соревнований.
С 1960 года Агеев начал победную серию, выиграв 34 из 35 международных боев. Он стал чемпионом Европы в 1965 и 1967 годах, а также четырежды выигрывал чемпионат СССР. В 1967 году его признали лучшим боксёром Европы, и он считался фаворитом на Олимпийских играх 1968 года.
Карьера Агеева оборвалась в 1968 году из-за драки возле московского кафе "Лира", за что его исключили из сборной СССР и лишили звания заслуженного мастера спорта. В 1971 году он снова оказался в драке и получил 4 года тюрьмы, к которым добавили ещё год за побег. Агеев отбывал срок в колонии под Новолипецком и был освобожден весной 1975 года.
После возвращения в Москву Агеев работал тренером в ЦСКА, подготовив множество чемпионов СССР, Европы и мира. Среди его учеников такие известные боксёры, как В. Рыбаков, В. Лимасов, В. Соломин, П. Галкин и другие.
В конце 1980-х годов Агеев стал одним из инициаторов развития профессионального бокса в СССР. В 1992 году его избрали президентом Федерации профессионального бокса России. Он также вошёл в руководство Всемирной боксёрской ассоциации (WBA) и Паназиатской боксёрской ассоциации (PABA).
В городе Балашиха Московской области был создан Спортивный клуб имени В.П. Агеева. В школе бокса Агеева бесплатно тренируются более 100 юных спортсменов. Клуб оснащён новейшим оборудованием и включает тренажерный зал и восстановительный центр. Ежегодно в Балашихе проводится международный турнир на призы Виктора Петровича Агеева.