В конце XVIII века участок, на котором возвышается тёмно-серый особняк, был подарен купцу Василию Баженову. Он самостоятельно разрабатывал чертёж своего жилища и даже закупал строительные материалы. Но планам Баженова не суждено было сбыться: из-за серьёзной болезни купец уехал в деревню. А уже после его смерти участком завладели сыновья Всеволод и Константин, один из которых продал свою половину французу Луи Бенуа. Новый владелец поспешили построить здесь собственный дом. В 1790-е гг. участок домов N 37-41 принадлежал арх. Василию Ивановичу Баженову. После его смерти в 1805 г. участок перешел сыновьям – Всеволоду и Константину. Константин на месте дома 41 возвел 2-этажный каменный дом. Один из его сыновей построил на своей части жилой дом, а другой продал свою половину французу Луи Бенуа. Он тоже построил дом, в котором на протяжении целого столетия жили известные архитекторы и художники. Следующий хозяин дома купец К. Петров тоже внес свои изменения, и когда здание приобрел Р. Г. Вег