Первоначально усадьба принадлежала графу Якову Брюсу, сподвижнику Петра 1. По указу царя во время Северной войны он проводил здесь эксперименты с белым фосфором, пытаясь создать снаряды невиданной для того времени разрушительной силы. До сих пор в ясную морозную погоду в роще, расположенной в 5 км к северу от деревни можно наблюдать странное свечение молочно-белого цвета, которое особенно эффектно смотрится в ночное время суток. Последним владельцем Пятой Горы был Федор Брискорн, гражданский губернатор Кавказской губернии с 1812 про 1824 гг., а потом – его вдова Ольга, которая и заказала в память о муже роскошную церковь-ротонду, невиданную в здешних деревнях. К сожалению, при строительстве использовался в большом количестве мергель, который давно уже раскрошился. Церковь действовала до 60-х годов XX в..
Так как почти все строения были деревянными, то от них остались только фундаменты. От усадьбы остался внушительный остов церкви Св. Троицы (это единственная на Северо-Западе сельская церковь-ротонда) и усадебный парк. Также сохранились фундаменты усадьбы и стены одной из хозпостроек.
В 30-е гг. XIX в. здесь бывал Александр Пушкин.
