Первым владельцем этой усадьбы, расположенной на набережной городского пруда, был управляющий Кыштымского горного округа Г. Ф. Зотов. По его заказу, собственно, ее и выстроили в 1818-1821 годах. Григорий Федотович, что интересно, был из крепостных. Однако сумел сделать головокружительную по тем временам карьеру, дослужившись до управляющего Верх-Исетским казенным железоделательным заводом. В его бытность прибыли возросли настолько, что его владелец завода Яковлев пожаловал Зотову вольную.
В 1837 году Григорий Зотов решает продать свою усадьбу. Новым и самым знаменитым ее владельцем становится купец Савва Тарасов, представитель известной на весь Екатеринбург семейной династии. Его отец и дед неоднократно избирались городскими головами, но особой известностью пользовался внук, Петр Иванович Тарасов. Он, будучи золотопромышленником, довольно долго возглавлял Екатеринбургское золотопромышленное общество. Петр страстно увлекался нумизматикой, был членом Московского нумизматического общества, и смог собрать уникальную коллекцию из нескольких тысяч монет. В 1907 году младший Тарасов передал свою коллекцию в музей Уральского общества любителей естествознания. Монеты хранятся там и сегодня, они входят в число самых ценных экспонатов.
Когда усадьба строилась, в Екатеринбурге господствовала мода на архитектуру в стиле классицизма. И даже когда во второй половине XIX века здание коснулась новая мода на эклектику, оно после реконструкции все же сохранило прежний стилевой облик. В бытность Тарасова в целом преобразился внешний вид дома, при нем были перестроены и внутренние помещения. Купец даже облагородил прилегавшую к усадьбе набережную, которая потом еще долго называлась Тарасовской.
После Октябрьской революции 1917 года усадьба опустела – Тарасовы выехали из нее. В советский период здесь был Дом учителя. В 1997 году осенью комплекс зданий, составлявший усадьбу купца Тарасова, подвергся масштабной реконструкции по проекту архитектора Аркадия Заславского. После этого усадьба, являющаяся одним из самых старых каменных жилых зданий в городе, стала составной частью архитектурного ансамбля резиденции губернатора Свердловской области.