В 1879 году, на фундаменте прежней постройки, был выстроен новый особняк по проекту Александра Ивановича Резанова. Он был возведён для владельца большого пассажа на Кузнецком мосту, чаеторговца К. С. Попова. Попов первым основал чайные плантации на Кавказе.
Однако, уже в 1894 году, особняк вновь перестраивается, в стиле греческой классики, теперь уже архитектором Виктором Александровичем Мазыриным. Новым владельцем особняка стал фабрикант Михаил Абрамович Морозов.
После смерти Морозова дом стал принадлежать его супруге Маргарите Морозовой.