Село Ярополец около Волоколамска впервые упоминается в летописи в 1135 году. На правом берегу реки Ламы в те годы был создан укрепленный пункт князя Ярополка Владимировича - сына Владимира Мономаха. Он владел Ростовом и Суздалем и вел борьбу с Новгородом, используя Волоко-Ламский путь (сам Волоколамск, как, например, и Торжок в современной Тверской области, принадлежал Новгороду). Село долго принадлежало Иосифо-Волоцкому монастырю. Затем его выкупил Иван Грозный, и Ярополец стал местом охоты царей. В 1684 году село Ярополец вместе с окружающими деревнями (около одной тысячи дворов) было пожаловано царицей Софьей украинскому гетману Петру Дорошенко.
После неудачной борьбы с поляками и московитами за независимость Украины он присягнул на верность московскому царю в 1676 году, служил воеводой в Вятке (Кирове), а затем вышел в отставку и до своей смерти в 1698 году жил в усадьбе Ярополец. Его потомки разделили имение, так что образовались две соседних усадьбы – Ярополец Чернышевых и Ярополец Гончаровых. Первую отстроил один из молодых офицеров, возведших на престол Екатерину Вторую. После того как ее фаворитами стали братья Орловы, он обиделся и уехал в усадьбу, направив свои силы на ее украшение и расширение.
В 1717 году северо-восточная часть имения Ярополец перешла к Чернышёвым. Граф и генерал-аншеф Григорий Чернышёв изначально бы денщиком Петра Первого, участвовал в Азовском походе против Турции, Северной войне с Швецией, отличился при взятии Выборга и Нарвы, а также в Полтавской битве. Он построил в усадьбе Казанскую церковь (1742/1798).
С 1745 года имение – во владении среднего сына Григория - Захара, который занялся панировкой имения. Захар Чернышёв (1722-1784) – сын Григория Чернышёва от брака с бывшей любовницей Петра Первого, которую тот называл «Авдотья бой-баба». Вместе со своими братьями состоял при дворе Екатерины Второй, когда она еще не была императрицей. При ремонте одного из чернышёвских поместий были найдены «Любовные записочки» Екатерины к одному из братьев.
Захар Чернышёв - участник Семилетней войны с Пруссией, один из «молодых друзей» Екатерины Второй. Известен тем, что в 1760 году участвовал во взятии Берлина. В 1762 году подал в отставку, после того как был обойден вниманием императрицы в пользу братьев Орловых. Не зря Екатерина называла Захара «горячая голова». Он интриговал не только против Орловых, но и против Потёмкина.
Родовое гнездо Чернышевых считалось одним из богатейших в Подмосковье, с роскошным дворцом, лепной внутренней и внешней отделкой, скульптурным убранством. По заказам Чернышевых работали скульпторы Ф.И. Шубин, И.П. Мартос, Д. Решт, А. Триппель. Усадебный парк в Яропольце послужил образцом для многих других усадеб.
Казанскую церковь в усадьбе построил ещё Григорий Чернышев, а его сын Захар перестроил (1742/1798). Авторство проекта приписывают известному архитектору-масону – В.И. Баженову. В похожей стилистике выполнена приусадебная церковь в подмосковном имении Шереметьева Быково, авторство которой также приписывают Баженову.
Двухкупольное здание, авторство которого приписывают известному архитектору В. Баженову, включало храм и родовую усыпальницу с монументальным надгробием графа Чернышёва в виде масонской пирамиды высотой 4 метра и черным мраморным саркофагом. До 1941 года в алтаре храма хранился символический ключ от Берлина, привезенный Чернышёвым.
Очень необычная архитектура, присущая работам Баженова и его коллеги Казакова, - смешение православных традиций, классицизма, псевдоготики и масонских символов. Ведь все окружение Екатерины Второй и последующих императоров состояло в масонских ложах. Возможно, комплекс в московском Царицыно не понравился императрице именно потому, что он просто перегружен масонскими символами.
В годы Великой Отечественной войны усадьба была занята немцами, в здании дворца ими устроен штаб. Усадьба неоднократно подвергалась бомбардировкам, дворец сожжен, остались только стены. Произведения искусства, вывезенные в 1924 году из усадьбы в Новоиерусалимский монастырь, погибли во время немецкой оккупации.