Дом построен во второй половине 60-х годов XVIII века по заказу генерал-майора Михаила Михайловича Измайлова. Есть мнение, что автором первого проекта дворца усадьбы Быково, был великий русский зодчий Василий Иванович Баженов. Дом построен на насыпном холме, землю для которого взяли после рытья трёх прудов на территории усадьбы. Вначале 1840-х Иван Илларионович Воронцов начал реконструкцию усадьбы, для чего пригласил в Быково модного швейцарского архитектора Бернара Симона. Архитектор Симон разработал проект перестройки главного дома в духе эклектики, напоминая свои видом замок, каждый из четырех фасадов здания был оформлен индивидуально. Главный вход с пристроенным фойе барочной лестницы и подъездом для карет был расположен на северной стороне. Южный фасад с балюстрадой выходит на реку и украшен пилястрами и классическими колоннами с кариатидами. В западной части дома была выстроена башня с часовым механизмом и обсерваторией. Восточный фасад выходит окнами на парк и во многом отмечал