Первоначально местность, где сейчас располагается усадьба, называлось Олтуфьево. Предположительно такое название пошло от первых владельцев из московского дворянского рода Олтуфьевых и было изменено только в XIX веке на Алтуфьево. Олтуфьево впервые мелькает в исторических документах в конце XVI века. В 1585 году селением владел ключник Хлебного двора Неупокой Мякишев. Пройдя через Смутное время, Алтуфьево постоянно меняло хозяев – Акинфовых, Вельяминовых, Апраксиных, Риндеров, Куракиных, Жеребцовых, Корфов, Лианозовых... Каждый из хозяев оставлял свой след в архитектуре усадьбы, хотя кто-то владел ансамблем десятилетиями, кто-то – всего пару сезонов. Из переписи 1678 года известно, что в этот период Алтуфьево уже было благоустроенной усадьбой. Здесь имелся господский дом, где жил приказчик, четыре семьи конюхов из 12 человек, двор скотника, три семьи слуг из 17 человек и прочие. К 1687 году в усадьбе была построена церковь Святой Софии и дочерей её Веры, Надежды и Любови. В 1704 г.