Если верить знаменитому исследователю московской старины Гиляровскому, богатый купец Яков Пегов и известный повар-француз Люсьен Оливье, часто встречались у будочника на Трубной площади, торговавшим качественным нюхательным табаком. Знакомство переросло впоследствии в общее дело, был открыт новый французский ресторан «Эрмитаж Оливье».
У Пегова как раз было владение на углу Петровского бульвара и Трубной площади. Уже к середине 60-х годов в этом месте возникло шикарное здание с белыми колоннами, хрустальными люстрами с изолированными кабинетами и роскошными интерьерами. Славу ресторану подарило фирменное блюдо шеф-повара – салат "Оливье". Очень быстро ресторан стал излюбленным местом отдыха московской интеллигенции. Здесь бывали Н.А. Римский-Корсаков, А.П. Чехов, М.М. Горький, С.И. Танеев, П.И. Чайковский, Ф.И. Шаляпин и многие другие.
Замечательна сама история о салате - первоначально француз изобрел для своего ресторана вовсе не салат, а блюдо под названием «Майонез из дичи». Для него отваривали филе рябчиков и куропаток, резали, выкладывали на блюдо вперемежку с кубиками желе из бульона птицы. Рядом изящно располагали вареные раковые шейки и ломтики языка, политые соусом «Провансаль». А в центре возвышалась горка картофеля с маринованными корнишонами, украшенная ломтиками крутых яиц.
По замыслу Оливье, центральная «горка» предназначалась не для еды, а лишь для красоты, как элемент декора блюда, но многие люди просто смешивали все ингредиенты вместе, нарушая изысканный дизайн! Успех нового блюда был грандиозен!
В советский период времени от французского Оливье остались всего три исторических ингредиента: мясо птицы - дичь или курица, огурцы и картошка. Вместо трюфелей появились вареные яйца, вместо раковых шеек - морковка для цвета и яблоко. В 1955 году дичь окончательно заменили курицей и официально назвали салат "Столичным", а вариант с вареной колбасой – "Московским".
Сам же ресторан и гостиница в конце XIX века перешли во владение торгового товарищества «Эрмитаж». Дом дважды перестраивался, в 1885 и в 1902 годах, по проектам архитекторов М.Н. Чичагова и И.И. Бони. В 1923 г. в здание въехала организация «Дом крестьянина»: общежитие с кинотеатром на 450 мест. Кинотеатр получил название «Труд». После войны дом передали издательству «Высшая школа», которое находилось в нем до конца 1980-х годов. В 1989 г. сюда въехал театр «Школа современной пьесы».
Здание бывшего ресторана «Эрмитаж» стоит на государственной охране как объект культурного наследия регионального значения.