С конца XVIII века и до краха империи князья Гагарины оставались хозяевами этого владения. В середине XIX в. два флигеля усадьбы Гагариных были соединены с главным домом застекленными галереями, в результате получился торговый пассаж, известный как «Пассаж Гагарина», а в 1896 главный дом и оба флигеля были перестроены в единое здание. Вскоре здесь был открыт филиал знаменитого, в имперской Москве, универмага «Мюр и Мерилиз».
