Виктор Колпаков родился 1 мая 1904 года в Воронеже.
Отец - типографский рабочий. Мать - домохозяйка. В 1910 году семья переехала в Раненбург Рязанской области, где его отец купил типографию. Окончил приходскую школу, затем учился в высшей начальной школе и гимназии. После октябрьской революции продолжил образование в школе II ступени при Раненбургском педтехникуме, которую успешно закончил в 1922 году. До 1923 года работал секретарем отдела записей актов гражданского состояния и помощником инспектора труда в отделе труда.
В 1923 году поступил в ГИТИС, который окончил в 1926 году, актерский факультет. Служил в Красной армии в качестве старшего писаря Московского пересыльного пункта. После демобилизации в 1928 году работал в театрах имени Гоголя, МГСПС и Театре-студии киноактёра. В 1932 году - актёр Дальневосточного театра. В 1943-1945 актер фронтового театра ВТО. В кино дебютировал в 1937 году в фильме «Ленин в Октябре». Потом почти двадцать лет не снимался. Опять появился на экране в середине 1950-х. И стал часто сниматься, играя эпизоды и второплановые роли. Запомнился зрителям такими своими ролями как поп-расстрига («Коммунист»), Семен Андреевич («Любушка»), стармех («Путь к причалу»), Титка («Русский лес»), могильщик («Гамлет»), фельдшер («Жили-были старик со старухой»), Евлампий Сидорович («Душечка»), Григорий («Братья Карамазовы»), дядя Егор («Адъютант его превосходительства»), Нифонт («Остров Волчий»), ведущий аукциона («12 стульев»), мастер Виноградина («Чиполлино») и др.
Дважды был женат. Первый брак не сложился, из-за чего актер на какое-то время даже пристрастился к алкоголю. Вторая жена - Ольга Васильевна Колпакова. Жили дружно, жена часто сопровождала мужа на гастролях и киноэкспедициях.
За время своей карьеры в кино снимался в фильмах лучших советских режиссёров: Юлия Райзмана, Григория Козинцева, Георгия Данелия, Григория Чухрая, Сергея Колосова, Ивана Пырьева, Евгения Ташкова, Эльдара Рязанова, Леонида Гайдая.
В последние годы страдал болезнью желудка, перенес операцию. Скончался в Москве 14 сентября 1972 года. Похоронен в Москве на Ваганьковском кладбище .