Музей расположился в центральной части Вологды, в доме Засодимского, построенном в середине XIX века. Деревянный дом возведен в традициях позднего классицизма. Здание с мезонином имеет четыре фронтона с оригинальными окошками. Во дворе дома находится каретник, который полностью перестроили из новых материалов в ходе реставрации особняка. Последним хозяином особняка был известный вологодский купец II гильдии и владелец магазина галантерейных товаров Дмитрий Пантелеев. После революции особняк переоборудовали под коммунальное жилье...

Вологда вообще удивительный город: большинство улиц здесь подчиняются строгому плану Екатерины II — ровные, параллельные и перпендикулярные, словно расчерченные по линейке. Но есть одна улица, которая будто живет по своим правилам. Она изгибается, петляет, ломает привычную геометрию города и совсем не похожа на остальные. Это улица Засодимского — старая Ильинская. Здесь деревянные дома с кружевными наличниками соседствуют со старинными храмами, за тяжелыми дверями поскрипывают половицы, а тихие дворы выглядят так, будто время в них остановилось лет сто назад...