Считается, что в Замоскворечье жили исключительно купцы и ремесленники, но это устоявшееся мнение не совсем верно, здесь также находились и дворянские усадьбы. В одном из переулков, соединяющих улицы Большую Полянку и Якиманку, находились владения П.Г. Вяземских. Одного из представителей известного в России рода Вяземских, ведущих свое начало от самого легендарного Рюрика. Владения Вяземских в Замоскворечье находились в Спасоналивковском переулке, называвшемся в 18 веке Таракановым, а в следующем Большим Спасским. Название 1-й Спасоналивковский появилось только в прошлом веке. По одной из версий это название уходит корнями к находящемуся тут селению Наливки, которое находилось рядом с «заливным (наливным) лугом».
Дом № 4 стоящий ближе к Большой Полянке раньше тоже относился к территории, относящейся к усадьбе Вяземских. Усадьба была разбита на участки и продана в 19 веке разным владельцам. В 1870-х годах строение 4 по 1-му Спасоналивковскому переулку приобрело современный вид. Был перестроен 2-х этажный каменный дом. Появились лепные венки под карнизом и в прямоугольных межэтажных медальонах и горельеф внутри фронтона под крышей: амуры, держащие в руках гирлянду. Окна первого этажа декорированы замковым камнем оригинальной формы.
В конце 1880-х годах владение Якиманской части 2-го участка, где находится современный дом 4, принадлежало купцу Ивану Гучкову, а после его дочери Татьяне Гучковой. В архиве Москвы сохранился план участка и описание находящихся на нем строений и проживавших в них. Это было среднее купеческое владение с шестью постройками и садом. В главном 2-х этажном каменном доме с подвалом, в котором находились прачечная с кладовой, жила семья владельцев. На участке находилось еще два деревянных жилых здания, в которых сдавались квартиры. Одноэтажный домик был с мезонином и двухэтажный с балконом. Также на участке находилась конюшня на три стойла и дворницкая, рядом с которой хозяйственная постройка.
В советский период в жилых домах квартиры превратились в коммуналки. Деревянные строения не дожили до 1960-х годов, а главный дом пришел в такое ветхое состояние не пригодное для проживания, что его уже поставили в проект под снос. Однако многие Заслуженные и Народные художники СССР выступили за сохранения здания. После внесения дома усадьбы Вяземских в перечень памятников архитектуры началась ее реставрация, которая продлилась до 1984 года.
В 1996 г. в здание въехало «Объединение московских скульпторов» и создало на базе усадьбы «Московский дом скульптора». С этого времени тут стали проводиться ежемесячные выставки: скульптур, живописи и графики. Кроме того, в Московском доме скульптора регулярно проводились концерты классической музыки, литературные вечера.
В 2007 г. после ликвидации Дома скульптора в усадьбе обосновался Межгосударственный фонд гуманитарного сотрудничества государств - участников СНГ, который находится тут, и по сей день.