Особняк построен в 1888 году на Воздвиженке. Тогда самая богатая женщина Москвы вдова Абрама Абрамовича и мама Арсения Морозова, Варвара Алексеевна Хлудова, решила построить замок в стиле крепости. Архитектор Клейн Роман. Этот замок прозвали Мавританским уродцем. А Замок Дурака, прозвали за то что маленький мальчики Арсений, глушил рыбу в Москве реке. В 1892 году Варвара Морозова подарила сыну земельный участок.
В 1892 году Арсений, со своим другом и тоже архитектором Виктором Мазыриным, отправился в Европу, а точнее в Португалию, в поисках приключений. В Синтре, близ Лиссабона, их обоих впечатлил знаменитый дворец Пена.
По возвращении в Россию Виктор Мазырин спросил Арсения Морозова:
- "В каком стиле будем строить? Есть барокко, готический, мавританский?" И получил ответ: - "Строй во всех! У меня денег на все хватит!"
В 1895 году первый камень в основание будущего особняка заложила маленькая дочь архитектора, и работа закипела. Мазырин спроектировал две крепостные башни, из которых складывался портал центрального входа.
Проем украсили витыми колоннами, а фасад здания — ажурными карнизами и лепниной в виде ракушек.
Дом был готов к 1899 году. Он прославился не только необычным внешним видом, но и банкетами, которые часто устраивал Арсений Морозов.
Позднее владелец дома решил примириться с матушкой и остепенился. Он женился и стал отцом, но его выходки становились все более шокирующими.
Смерть Арсения Морозова оказалась такой же экстравагантной, как его жизнь.
В 1908 году он на спор выстрелил себе в ногу из револьвера, но отказался от медицинской помощи. Спустя три дня наследник промышленной династии умер от заражения крови.
Дом как оказалось, он завещал своей любовнице Коншиной Нине.
Именно с той с кем познакомился по дороге в Тверь, где кстати находилась его ткацкая фабрика.
Вышло так, что Морозов отправился в Тверь, где находилась его ткацкая фабрика. По дороге в его купе первого класса села дама – изящная, дорого и со вкусом одетая.
- У неё цыганские глаза, - позже скажут в Москве.
Эта молодая женщина представилась Ниной Коншиной, и она, на самом деле, умела завораживать взглядом. Густые ресницы, ласковый выразительный взгляд.
Спустя час они уже разговаривали, и не могли наговориться. Приближалась станция, а Морозов всё ещё не выпускал из ладоней маленькую ручку Нины. А потом так и доехал с ней вместе до самого Петербурга.
По Москве поползли слухи – встреча миллионера с красавицей была подстроена братом Нины! Дескать, всё не просто так! Но Морозов был непреклонен: теперь для него важна только Нина.
Чтобы супруга не беспокоилась ни о чём, он предложил ей двести тысяч рублей отступных.
Супруга немедленно наняла адвокатов, но особняк остался за Коншиной. Дама из купе выгодно продала дом Морозова и укатила в неизвестном направлении.
В 1911 году Вера Сергеевна (законная супруга Арсения) снова вышла замуж.