История, неведомо правдивая или нет, гласит, что вернувшийся раненым из первого Альбигойского крестового похода в 1224 году, рыцарь Анри Гаспар де Стеримберг, впал в умиротворение и раскаяние.
Крестовый поход был недальним, не в далекую Палестину, а на земли близлежащего Лангедока и Арагона, где обосновались последователи одного из направлений христианства - катары, которых Римская католическая церковь объявила еретиками. Был поход недальним, но вполне себе кровопролитным - по легенде именно в его время, при штурме крепости Безье папский легат Арнольд Амальрик произнес фразу, пережившую и его и всех остальных участников этой битвы - «Убивайте всех, Господь распознает своих!».
Умиротворение и философские настроения сподвигли бывшего рыцаря Анри Гаспара обратиться к королевской семье с просьбой о выделении ему земельного участка, где бы он мог построить себе небольшое жилище, в котором, приняв монашеский сан, он бы и провел остаток жизни в созерцании мира и размышлениях. Просьба его была удовлетворена - в 1235 году, когда инквизиция окончательно уничтожила альбигойцев в Альби, Нарбонне и Тулузе, королева Бланш (Бланка Кастильская), пожаловала ему участок земли на достаточно высоком холме около городка Турнон-сюр-Рон.
Здесь монашествующий отшельник выстроил себе небольшую часовню (факт постройки часовни именно Анри Гаспаром не вполне достоверен, по некоторым данным она к тому времени уже существовала) и высадил по склонам холма виноградник из лоз сорта Сира. Сегодня этот виноградник - центр всемирно известного винодельческого региона в северной части долины Роны.
Через 530 лет, в 1764 году, российская царица Екатерина II решила обустроить для своего уединенного времяпрепровождения небольшой флигель, который был украшены приобретенной в Париже коллекцией живописных полотен, приобретенной у саксонского министра графа Бюля. Почти сразу же к этой коллекции добавилось и собрание картин, ранее принадлежавшее барону Пьеру Крозу, который растратил на него все свое состояние. Со временем убранство помещений дополнялась различными художественными и скульптурными объектами итальянских, французских, фламандских и голландских мастеров XVI—XVIII века. К моменту смерти Екатерины Второй опись художественных предметов содержала около 4000 единиц.
Искавший уединения рыцарь Анри Гаспар стал по сути монахом-отшельником и его убежище совершенно справедливо стало называться Эрмитажем (от фр. ermitage — место уединения). От этого же слова произошло и название одного из крупнейших современных музеев изобразительного искусства - Государственного Эрмитажа, что и объединяет между собой два здания - часовню Анри Гаспара и здание в центре Санкт-Петербурга, между которыми лежит более 2500 километров.