«Эрмитаж» по-французски означает «хижина отшельника». Такие павильоны получили широкое распространение в регулярных садах XVIII века. Они предназначались для отдыха и обедов владельца усадьбы в узком кругу избранных и помещались в дикой части парка. Для того, чтобы общению хозяев и гостей не мешало присутствие прислуги, в таких павильонах обычно устанавливались механизмы, приводившие в движение подъемные столы. Царскосельский Эрмитаж отличается от других (например, петергофского) исключительной пышностью.
Первоначально павильон спроектировал М. Г. Земцов, но в 1749 году фасады готового здания были переделаны в соответствии с новым проектом Растрелли.
Здание окружено каналом фигурных очертаний с двумя мостиками.
Эрмитаж не перестраивался с середины XVIII века, поэтому его внутренняя отделка дошла до нашего времени почти без изменений.
Четыре кабинета по углам связаны галереями с центральным прямоугольным залом.
Часть лепнины в галереях представлена в не отреставрированном