Дипфейки и «умные» датчики: что готовит будущее музейного мира

РБК рассказали о том, зачем в Музее Дали появился дипфейк великого испанского художника и как искусственный интеллект помогает находить утерянные шедевры, а также подтверждать подлинность картин.

Виртуальные гиды в музеях

Одним из популярных способов общения с посетителями сегодня являются чат-боты. Например, Художественный музей в Акроне внедрил в приложение Facebook Messenger цифрового гида по имени Dot. Этот чат-бот строил для каждого туриста индивидуальный маршрут из шести точек, рассказывая о работах, задавая вопросы и обсуждая искусство. Он мог, например, указать, что художник Сол Витта сам не создавал картины, полагая, что сама идея уже может быть произведением искусства. В конце диалога Dot интересовался, кому посетитель хотел бы передать свое впечатление.

Еще один пример — бот IRIS+ от компании IBM, созданный специально для музея В SIC «Завтра» в Рио-де-Жанейро. На входе у посетителей брали карту с чипом, который взаимодействовал с IRIS+. После осмотра выставки он спрашивал, каким образом человечество должно изменить мир, замечая реакции и обрабатывая их с помощью облачных сервисов IBM. На основе собранных данных бот предлагал идеи для будущих решений.

Роботы в музейных залах

Сегодня роботы уже не кажется чем-то фантастическим — их можно встретить в современных экспозициях. В 2018 году в Вашингтоне трех роботов по имени Пеппер приняли на работу, они отвечали на вопросы, рассказывали истории, жестикулировали, танцевали и даже фотографировались с посетителями.

Камеры и нейросети для оценки реакции зрителей

В 2016 году в парижском музее на набережной Барли появился уникальный «критик» — робот Беренсон. Его создали, чтобы понять, как посетители реагируют на выставленные произведения. Робот, одетый в шляпу и пальто, анализировал лица людей через встроенную камеру и определял их настроение по цвету сигнала — зеленый означал улыбку, красный — недовольство.

Обучая робот реакции на произведения искусства, разработчики научили его распознавать черты, свойства и эмоциональные реакции. Впоследствии Беренсон самостоятельно мог выбрать, к каким картинам подойти и что запомнить.

Также, в рамках борьбы с пандемией, в итальянских музеях — в Болонье, Парме и Риме — установили камеры, которые следили за соблюдением дистанции и ношения масок. Эти системы теперь умеют также определять реакции зрителей, фиксируя эмоции в пяти градациях, а также возраст, пол и направление взгляда.

Эти данные помогают кураторам лучше понять предпочтения аудитории и могут оптимизировать выставки, однако некоторые критики считают, что такие технологии могут привести к формированию системы «лайков» в искусстве.

Геймификация и дипфейки художников

В 2016 году галерея Tate Modern вместе с Microsoft запустила проект IK Prize — конкурс по созданию инструментов, расширяющих возможности восприятия искусства. Победителем стала программа Recognition, которая с помощью ИИ находила сходство между произведениями искусства и фотографиями Reuters. Она анализировала миллионы изображений и создавала пары, объединяя картины по композиции и теме.

Немного позже, в 2017 году, MET и Microsoft выпустили платформу Open Access, которая оцифровала сотни тысяч коллекционных предметов. Посетители могут выбрать конкретное произведение и найти схожие работы благодаря алгоритмам машинного обучения.

Для более глубокого вовлечения публики в музее Дали во Флориде в 2019 году применили технологию дипфейк и ИИ. В рамках проекта «Дали жив» создали виртуального портретиста, который рассказывал о жизни художника, основан на его интервью и архивных фото. Для этого алгоритмы изучили лицо и характерные черты Дали и синтезировали их с голосом актёра, имитирующим его произношение. Посетители могли активировать «дипфейк», и художник-аватар рассказывал байки, делал селфи или даже комментировал погоду.

Искусственный интеллект в создании новых шедевров и фейков

Одним из ярких примеров использования ИИ стало создание портрета в стиле Рембрандта. Команда разработчиков из Microsoft и других организаций создала 3D-изображение, полностью имитирующее работу мастера. Эта картина была напечатана на 3D-принтере и имитировала текстуру масляной живописи.

Также искусственный интеллект помогает в восстановлении и проверке подлинности произведений. Так, в 2016 году создали изображение женщины в жанре Пикассо, обнаруженное под слоем старых красок с помощью метода рентгеновской флуоресценции. После анализа специалисты обучили ИИ наносить мазки в стиле мастера и напечатали полученное изображение, получив новую работу, вдохновленную Пикассо.