Музей изобразительных искусств в Хаконе был основан компанией Pola – японским производителем косметических средств. Кроме музея, группа компаний Pola Orbis также основала в 1979 году Фонд традиционной японской культуры и в 1996 году – Фонд искусств. С помощью этих организаций Pola Orbis занимается изучением и продвижением японского искусства.
Музей в Хаконе возводился в течение двух лет и был открыт в сентябре 2002 года. Как и многие здания культурно-просветительского назначения в Японии, музей строился как часть симбиоза рукотворных объектов с природой Хаконе. Музей расположен в лесном массиве национального парка Фудзи-Хаконэ-Идзу на фоне 300-летних буковых деревьев и является фрагментом пейзажа. Чтобы минимизировать вмешательство в природную среду, большую часть музейных помещений было решено разместить под землей.
Коллекция музея насчитывает 9500 произведений искусства, которые были собраны в течение сорока лет Судзуки Цунэси – владельцем Pola Group, ныне покойным. В собрании представлено около 400 картин европейских художников, в том числе французских импрессионистов, и современных японских живописцев, писавших в западном стиле. Музей располагает тремя полотнами Ван Гога, а также картинами кисти Клода Моне, Пьера Огюста Ренуара, Сезанна, Пабло Пикассо. Одним из японских авторов, представленных в музее, является Цугухара Фудзита, который был известен в Европе под именем Леонара Фужита. Он относится к так называемой «парижской школе». В 2013 году коллекционер, чье имя не было названо, передал музею две ранее неизвестных работы мастера – полотна «Сирены» и «Гротеск». Цугухару Фудзита в начале XX века переехал из Японии в Париж, где жил в квартале богемы Монпарнас и был знаком с Анри Матиссом и Амедео Модильяни. В своем творчестве он использовал традиционную технику рисования тушью и приемы европейской живописи. Цугухару Фудзита считается одним из самых дорогих японских художников.