Этот роскошный дом выстроил знаменитый московский зодчий Матвей Казаков для московского генерал-губернатора Захара Чернышева в 1782 году. После смерти графа Чернышева дом выкупила казна, и он стал резиденцией московских генерал-губернаторов.
В империи генерал-губернаторы руководили особыми территориальными образованиями, например Великим княжеством Финляндским или Степным генерал-губернаторством. К числу особых административных единиц относилась и Московская губерния. "Просто" губернаторы были чиновниками МВД и руководили "обычными" губерниями.
Одним из наиболее известных московских генерал-губернаторов считается князь Владимир Андреевич Долгоруков. Он занимал этот пост больше 25 лет. При нем появились Верхние торговые ряды (ГУМ), конка (конно-железная городская дорога) и началась электрификация Москвы. Персонаж князя присутствует в действии романов Акунина "Смерть Ахиллеса" и "Статский советник".
В 1938 году, при расширении улицы, здание перенесли на 13,5 метров внутрь квартала. Позже, по проекту Дмитрия Чечулина, здание получило два дополнительных этажа и обрело современный облик.