В начале 1890-х годов Арсений Морозов вместе со своим другом, архитектором Виктором Мазырином, путешествовал по Испании и Португалии. На них произвел неизгладимое впечатление дворец Пена в Синтре, который сочетал в себе элементы испано-мавританской средневековой архитектуры и национального стиля мануэлино.
По приезде в Москву Морозов и Мазырин загорелись идеей построить дом-замок, повторяющий архитектуру дворца Пена. Особняк был построен за три года и смешал в себе много разных стилей. Но москвичи очень негативно отнеслись к новому зданию, которые было абсолютно не похоже на другие. Самая острая реакция последовала от матери Морозова.
Когда она посетила только что построенный дом, то сказала: «Раньше одна я знала, что ты дурак, а теперь вся Москва будет знать!»
