Музей находится в здании бывшей мечети Падишах-Джами, которую также называют «Храм с аркадой». Здание из крымского известняка само по себе представляет интерес. Построено в начале 13 века, затем перестраивалось как минимум 4 раза. Не всегда являлось культовым зданием, используясь и по иному назначению. Храм с аркадой в разные периоды был мечетью (при сельджуках, а затем во время захвата Крыма османцами), православным храмом во имя Апостола Матфея (18 в.), молельным домом немцев-колонистов, генуэзской католической (при генуэзцах) и армянской церковью во имя Успения Божьей Матери (1883-1924)...