Деревня Горетово известна главным образом тем, что явилась местом ссылки канцлера Российской империи графа Алексея Бестужева-Рюмина. До сих пор в деревне сохранились остатки усадьбы, где в середине XVIII века проживал ссыльный граф.
Здесь необходимо сказать несколько слов о самом Бестужеве-Рюмине. Этот человек играл заметную роль в политической жизни Российской империи. И не только потому, что долгое время без его участия не обходилось ни одно подписание договора или конвенции России с европейскими странами. Алексей Бестужев-Рюмин также принимал активное участие в дворцовых и даже в международных интригах: ими была богата эпоха, в которую он жил. Как следствие — графа дважды приговаривали к смертной казни (ни разу, впрочем, приговор не был приведен в исполнение).
В ссылке в деревне Горетово опальный канцлер жил сначала в обыкновенной избе, затем — в усадьбе. Впрочем, ссыльная жизнь даже в усадебных стенах графа не радовала, потому он часто называл усадьбу так: «обитель печали». Именно в деревне он составил книгу с избранными местами из Библии — они помогали ему сохранять твердость духа во время ссылки, а также уповать на лучшее.
В память о днях ссылки Бестужев-Рюмин отчеканил особую медаль. На ней изображались две скалы. С одной стороны над ними сияло солнце, а с другой — бушевала гроза.
Сегодня усадьба, где жил граф, во многом разрушена, но сохранился парк с прудами, флигель (правда, он был пристроен уже в XIX веке) и Троицкая церковь, которая в настоящее время является действующей.