В XVII в усадьба принадлежала Прокопию Ляпунову, политическому и военному деятелю. Затем усадьба перешла к князю Николаю Львову, а в XVIII в ею уже владел граф Петр Апраксин, после него - князь Яков Голицын.
Название усадьбе дал владелец окрестных сел Родион Остафьев. В 1751 г. имение выкупает купец Кузьма Матвеев. Он отстраивает первый ансамбль строений.
Следующий владелец Андрей Вяземский полностью перестраивает усадьбу по своему вкусу. В это время в усадьбе гостят такие знаменитости как: В. Жуковский, В. Пушкин, Н. Карамзин и др.
Последний был женат на дочери тогдашнего владельца усадьбы. Перед домом до сих пор растут дубы, которые посадил Карамзин. На территории усадьбы в 1803 г. приземлились первый аэронавты. В 1807 году имение переходит к Петру Вяземскому, который водил дружбу с А. Пушкиным.
В это время сюда приезжали: Д. Давыдов, А. Грибоедов, который здесь со сцены читал Горе от ума, а также Н. Гоголь. В 1865 г. усадьба переходит по наследству к Павлу Вяземскому.
Он был заядлым коллекционер и сейчас бОльшая часть его коллекции принадлежит Пушкинскому музею. В 1888 г. усадьба переходит следующему Вяземскому - Петру, который через 10 лет продал ее Сергею Шереметеву.
В 1899 г. он открывает здесь пушкинский музей. После Октябрьской революции усадьбу забрали, но музей оставили. В 1923 г. усадьбу признают памятником культуры.
В 1930 г. музей закрыли и часть коллекции произведений искусства распродана. Во время ВОВ здесь располагался госпиталь. А затем, с 1947-го, - дом отдыха Совета министров СССР. Здесь отдыхали в разное время: И. Ильф, Е. Петров, С. Маршак. Современный вид усадьба приобрела в 1950-е гг.
В 1988 г. усадьбе снова присвоен статус музея. В 2016 году закончилась масштабная реставрация, которая проходила 15 лет. Были восстановлены внутренние помещения и внешний вид главного дома, согласно документам XIX в. А также многие парковые постройки. Кстати, в парке живут вот такие замечательные белки.
Ежегодно в усадьбе проходят литературные праздники, фестивали, концерты, спектакли, конференции. В прошлом году ее включили в перечень усадеб фестиваля "Московские усадьбы".