Главная история дома связана с винно-водочным "королем" Российской империи Петром Арсеньевичем Смирновым.
В 1863 году Петр Арсеньевич Смирнов строит у Чугунного моста на Овчинниковской набережной небольшой водочный завод, а в 1867 покупает этот дом для того, чтобы жить ближе к своему производству. Затем, через девять лет, он перестраивает здание по проекту архитектора Н. А. Гейнца.
Со временем, качественная продукция Смирнова приобрела настоящий успех. Царь Александр III самолично пожелал, чтобы купец Смирнов стал Поставщиком Высочайшего Двора, хотя обычно за звание приходилось хлопотать самому предпринимателю.
В 1886 году Смирнов был награждён орденом Станислава III степени и установил на фасаде надпись "Поставщик дв. Его Императорского Величества Петр Арсеньевич Смирнов" которая там имеется до сих пор.
В конце XIX века ассортимент смирновского завода состоял из более чем четырёхсот наименований продукции.
После краха империи сын Петра Смирнова продал права на фирму "П. А. Смирнов" американскому подданному, который стал выпускать водку "Smirnoff".