Варганов приехал в Суздаль в 1929 году молодым художником — и остался навсегда. С 1931 года он руководил Суздальским музеем, совмещая должность директора с работой инспектора по охране памятников и главного архитектора реставрационного участка. Под его руководством восстанавливали Рождественский собор, Архиерейские палаты с уникальной Крестовой палатой, Спасо-Евфимиев монастырь — то, что сегодня составляет туристическую открытку города.
В 1958 году Варганов стал первым директором объединённого Владимиро-Суздальского музея-заповедника, а после 1960-го возглавил Владимирскую научно-реставрационную мастерскую. Он был одним из основоположников Владимирской школы реставрации — методической базы, которой пользовались специалисты по древнерусской архитектуре. Около 40 научных трудов по истории и археологии Суздаля стали классикой отечественного искусствоведения.
Писатель Владимир Солоухин в «Владимирских просёлках» сформулировал точно: «Суздаль для Варганова стал единственной любовью, целью жизни, самой жизнью. Варганов для Суздаля стал судьбой и счастливым жребием». В 1974 году Варганов получил звание первого почётного гражданина Суздаля — города, в котором прожил почти полвека и был похоронен.
До 23 февраля в колокольне Суздальского кремля работает выставка «Гений места» — более 40 экспонатов: документы, фотографии и личные вещи директора, реставратора и исследователя. В 2025 году Варганову исполнилось бы 120 лет.
Сообщение 48 лет без Варганова: человек, которому Суздаль обязан своим лицом появились сначала на ПроВладимир.