Губернаторское поместье было построено в 1821–1823 годах по указу Александра I. Проект принадлежал архитектору Панькову. Строительство было запланирована вскоре после того, как в 1777 году была введена должность генерал-губернатора. Первым стал Алексей Мельгунов. Но заказчиком строительства оказался уже следующий губернатор — А. М. Безобразов. Изначально возведение здания было задумано на Ильинской площади у церкви Ильи Пророка, но в итоге оно было сооружено на берегу Волги. Построенная усадьба являлась пристанищем для высочайших особ, которые посещали город, а также резиденцией ярославских губернаторов.
Начиная с 1822 и заканчивая 1917 годом в усадьбе проживало 17 губернаторов, которые тут же управляли землями и принимали почетных гостей. Последним правителем дома был Николай Оболенский. В течение столетия в этом месте бывали тысячи людей, среди которых и весьма известные во всем мире: святой Иоанн Кронштадский, император Александр I, французский писатель Астольф де Кюстин.
В 1917 году во времена революции дом превратился в Народный. Тут проводили сборы солдатских депутатов, рабочих городского совета. Затем в доме был организован уездный исполком (с 1923 года), Высшая партийная школа (с 1936 года), Технологический институт (с 1960 года). В 1969 году усадьбу передали Ярославскому художественному музею. До сих пор она является главным зданием музея.