Фихольм расположен в 19 км к юго-западу от Вестероса в приходе Риттерне в Вестманланде.
В средневековых документах Фихольм пишется как Фехольм или Фихольм и считается, что тогда он принадлежал епископам Вестероса. Определенная информация доступна с 1320 года, когда в документе появляется епископ «Исраэль Эрланди па Фехольм».
В последующие двести лет Фихольм/Фегольм появляется в нескольких документах. Говорят, что около двадцати епископов жили в старом здании Фихольма.
В 1527 году Фихольм был отдан шведской короне. Позже был объединён с королевским поместьем Стрёмсхольм, находившимся примерно в четырех милях к северо-западу от Фихольма.
По завещанию Густава Васы имущество унаследовал герцог Карл. Однако, пока Карл был несовершеннолетним, Эрик XIV передал собственность Катарине Стенбок, последней жене Густава Васы.
После смерти Катарины Стенбок в 1621 году Фихольм вернулся к короне, а два года спустя фельдмаршал Густав Хорн получил феодальные права на Фихольм.
Пять лет спустя Хорн обменял Фихольма на замок Херинге в Седерманланде. Фихольм перешел в том же году (1628 г.) к королеве Марии Элеоноре, но после того, как ее муж Густав II Адольф пал при Лютцене в 1632 г., Мария Элеонора покинула Швецию. В 1640 г. Фихольм снова отошёл короне.
Последнего строителя Фихольма зовут Карл Йохан Риддерстолпе. Он был государственным служащим и политиком. Он учился в Уппсале, а затем стал аудитором в мэрии Стокгольма и судах судебных приставов, а в следующем году — в Апелляционном суде Свеа. В 1741 году он стал младшим придворным, а четыре года спустя — камергером. В 1748 году он женился на своей кузине Брите Катарине фон Берхнер, которая также была падчерицей его сестры.
Между 1772-1773 годах Риддерстолпе построил нынешнее здание Фихольма по чертежам Йохана Себастьяна аф Ура, а шесть лет спустя в 1779 году он основал траст Фихольма для своей семьи.
Помимо Фихольма, Йохан Себастьян также участвовал в строительстве Стокгольмского оперного театра, нового здания замка Фредриксова, дворца принцессы Софии Альбертины (ныне дворец наследного принца) и верхней части церкви Адольфа Фредрика.
Йохан Себастьян был удостоен дворянства Густавом III в 1789 году.
Настоящее время
В Fiholm по запросу для групп организуются осмотры главного здания и парка.