Его история началась в 1919 году, когда под выставочные залы отдали дом местного купца Елизарова. Дом Елизарова сам по себе достопримечательность, воплощение провинциального классицизма в духе екатерининской эпохи. Фасад украшает портик с колоннами и треугольным фронтоном. Внутри широкий вестибюль и парадная лестница. Редкая для уездного города монументальность и гармоничные пропорции свидетельствуют о периоде экономического расцвета старых Вязников. В фондах музея тысячи предметов, собранных по всему району. Но особое место занимает живопись. Костяк местной экспозиции составляют 114 полотен, национализированных после революции у местных толстосумов: у фабриканта Сенькова, у самого хозяина дома Елизарова, у землевладельца Лаптева и других. В отдельном небольшом павильоне во дворе стоит паровая машина системы Уатта. Это первая паровая машина вязниковских фабрик, которую Елизаров купил за рубежом во второй половине 19 века.