Малый Эрмитаж – это два павильона с двумя галереями, окружающими Висячий сад, находившийся на крыше первого этажа. Павильоны были построены по заказу императрицы: северный (Оранжерейный дом) построен французом Ж.Б. Валленом-Деламотом (1767-1769), а южный павильон с галереями был построен под руководством русского архитектора Ю. Фельтена (1764-1775).
В северном павильоне была создана уникальная, по тем временам, конструкция с подъемными столами. С помощью механизмов, уже сервированные и накрытые столы подымались на второй этаж. Обед проходил без слуг. Гости в эту комнату приглашались самой Екатериной. Из-за размеров комнаты в ней могло находиться не более 15 человек.
Сбор коллекций берет свое начало с 1764 г., когда «в уплату долга» Екатерине ІІ было отдано 225 картин немецким купцом Гоцковским. Их разместили в Малом Эрмитаже. Императрицей был отдан наказ скупать произведения искусства на аукционах.
В пополнении коллекции сыграл не последнюю роль Русский посол во Франции Д.А.Голицын. Благодаря его дружбе с Дидро и другими представителями французской культуры, в Эрмитаже появились работы Рембрандта, Рубенса, Джорджоне и многих других известных художников. Коллекцию произведений пополняли не только картинами. Гравюры, рисунки, античные ценности, драгоценные резные камеи, книги, - все это становилось экспонатом музея.