Существующий сад «Эрмитаж» взял название от своего предшественника.
Его история восходит к 1830-м годам, когда бывший екатерининский вельможа и фаворит И.Н. Римский-Корсаков приобрёл усадьбу на Божедомке. Новый владелец позволял по воскресеньям входить всякому прилично одетому, и «Корсаков сад» стал популярным местом для отдыха москвичей.
Примерно с середины 19 века сад превратился в открытое увеселительное заведение и стал называться «Эрмитажем» — при входе в него стояла хижина, в которой находилась статуя сидящего старца-отшельника («Эрмитаж» по-французски — жилище отшельника, «ermite» — отшельник; в переносном смысле слово «Эрмитаж» означало – место уединения). Впоследствии сад пришел в упадок.
16 июля 1894 года арендатором владения в Каретном ряду стал московский купец Яков Васильевич Щукин. Эту дату и принято считать Днем рождения московского сада «Эрмитаж».
18 июня 1895 года состоялось главное событие в жизни Якова Васильевича Щукина. В шесть часов вечера на новой открытой сцене загремел духовой оркестр. С центральной арки входа в сад сорвали завесу, и празднично одетая публика увидела золотую надпись «Новый Эрмитаж».
По поводу названия у владельца не было никаких колебаний. Этим хозяин подчеркивал преемственность традиций старого сада «Эрмитаж», обозначал начало собственного трудового пути в Москве и утверждал себя хозяином нового сада.