Исторический замок Муя вероятней всего был заложен кланом Огасавара. Затем замок принадлежал влиятельному клану Миёси, но в 1582 г. был атакован и захвачен войсками Тёсокабэ Мототика. После завоевания Сикоку войсками Тоётоми Хидэёси в 1585 г. замок отошел Хатисука Иэмаса. Муя управлялся вассалами клана Хатисука до 1638 г., когда замок был разобран в соответствии с эдиктом сёгуната «одна провинция – один замок».
От исторического замка ныне сохранились каменные стены и остатки рвов.
В 1965 г. на месте бывшего замка была выстроена трехэтажная башня. Это, конечно же, типичный бастард, т.к., во-первых, никаких сведений о донжоне замка Муя (и вообще о его наличии) не сохранилось, а во-вторых, форма башни не типична для донжонов 16-17 вв.
В новодельной башне располагается музей, посвященный Тории Рюдзо (1870-1953), японскому антропологу, археологу и фольклористу.
Постройка призвана привлекать туристов, этому способствует и ее нынешнее название: «Тории де Наруто». Это некий микс зашифрованных смыслов. Тории – отсылка к Тории Рюдзо, де – французкая частица места, Наруто – город, где расположен замок. При этом «торидэ» назывались малые форты, к которым вероятно и относился Муя, а Наруто также имя известного персонажа аниме.