О том, кто был архитектором особняка, сведений не сохранилось. Первое упоминание о доме на Воздвиженке можно найти в источниках XVIII века. Угловой дом усадьбы строился в 1790-е годы по заказу графа А. К. Разумовского. В 1800 году этот особняк вместе со всем владением Разумовских был продан шурину Разумовского, Николаю Петровичу Шереметеву. Предполагается, что при переделке основного дома был использован проект французского архитектора Шарля де Бальи. При доме находилась церковь Знамения Богородицы с приделами Сергия Чудотворца и Варлама Хутынского «с главами и звоном».
Николай Петрович приобрел его, потому что в 1800 году вышел в отставку и стал жить частной жизнью. В этот дом после венчания в 1801 году Шереметев привез бывшую крепостную актрису Прасковью Жемчугову. В 1857 году в доме на Воздвиженке останавливался на какое-то время вернувшийся из ссылки декабрист И. Д. Якушкин, женатый на одной из родственниц Шереметева. При жизни Дмитрия Николаевича Шереметева «весь воздвиженский дом наш, со всеми флигелями его, исключительно был занят даровыми квартирами, служащими лицами и пенсионерами». В доме, всегда полном гостей, званых и незваных, бедных и богатых, просто приживал, постоянно звучала музыка: Дмитрий Николаевич, сам незаурядный музыкант и композитор, деятельно опекал и поддерживал великолепный шереметевский хор певчих и создал первую в России бесплатную музыкальную школу.
Вплоть до революции 1917 года здесь жила семья Шереметевых.
В 1918 году Сергей Дмитриевич Шереметев добровольно передал дом советской власти, здесь же он и скончался 4 декабря 1918 года, похоронен на кладбище Новоспасского монастыря. Сразу после похорон графа Шереметева, как тогда говорили, дом уплотнили – уникальный особняк поделили на коммунальное жилье для крестьян, ринувшихся от голода в Москву, на складские помещения и крохотные конторы для мелких служащих. Какое-то время переулок носил название Шереметевского. В советское время – история этого дома не менее интересна: Шереметевский переулок был переименован в улицу Грановского. Дома в этом переулке были облюбованы знатью, теперь уже советской. Здесь поселилась партийная и военная элита страны. Из-за особого, «правительственного» статуса название улицы даже изымали из справочников. Но, как ни странно, в доме Шереметева оставались коммунальные квартиры. Он был жилым и «коммунальным» вплоть до начала 80-х годов прошлого века.
В середине 1990-х дом был отреставрирован по заказу Вольного экономического общества, при этом были демонтированы исторические парадные лестницы (позже отстроены заново). Дому нанесло ущерб строительство во дворе нового административного здания, которое прилегало вплотную к стенам памятника, из-за чего окна и двери с внутренней стороны были замурованы.
В здании три этажа, оно имеет Г-образную форму с тупым углом, в соответствии с расположением проезжих частей Воздвиженки и Романова переулка. Архитектура здания относится к стилю зрелого классицизма. Наиболее характерный элемент дома — угловая полуротонда, окружённая колоннадой тосканского ордера и увенчанная куполом. Боковые фасады здания симметричны и друг относительно друга, и каждый в отдельности. Ротонда с колоннадой, заглублённые между боковыми фасадами, поставлена на мощный арочный цоколь. Мотив арочного проёма повторяется и на других фасадах, наряду с чёткими горизонталями и вертикалями. Центральная часть каждого из боковых фасадов отмечена фронтоном и тройными окнами, разделёнными пластичными колонками.
Дом утратил часть лепленных деталей во время пожара 1812 года, после восстановления он приобрёл некоторые черты стиля ампир. Сохранилась внутренняя планировка первого и второго этажей, для которой характерно сочетание круглого углового зала-вестибюля, примыкающих к нему полукруглых гостиных и скруглённого аванзала.
Сейчас в здании размещаются «Москомстройинвест» и Департамент развития новых территорий г. Москвы.
Любопытно, что совсем недавно Москва получила две почти точные копии дома на Воздвиженке. Обе новостройки возведены по проекту архитектора Дмитрия Бархина из мастерской архитектора Михаила Леонова. Одна копия Шереметевского дома построена на углу Кадашевской набережной и Лаврушинского переулка, другой особняк-двойник возник на углу Щетинского и Погорельского переулков.