В настоящее время инструмент находится на стадии исследования, но команда планирует интегрировать его с существующими инструментами защиты художников.
Исследователи из Чикагского университета разработали инструмент, позволяющий художникам "отравлять" свои цифровые работы, чтобы помешать разработчикам обучать системы искусственного интеллекта (ИИ) на их произведениях.
Инструмент под названием "Nightshade", названный в честь семейства растений, некоторые из которых известны своими ядовитыми ягодами, модифицирует изображения таким образом, что их включение в наборы данных, используемых для обучения искусственного интеллекта, приводит к появлению некорректной информации.
Согласно отчету, опубликованному в журнале Technology Review Массачусетского технологического института, Nightshade изменяет пиксели цифрового изображения, чтобы обмануть систему искусственного интеллекта и заставить ее неверно интерпретировать изображение. В качестве примера в Tech Review приводится убеждение ИИ в том, что изображение кошки - это собака, и наоборот.
При этом теоретически может быть нарушена способность ИИ генерировать точные и чувствительные результаты. Если пользователь запросит у испорченного ИИ изображение "кошки", то вместо него он получит собаку, обозначенную как кошка, или совокупность всех "кошек" в обучающем наборе ИИ, включая те, которые на самом деле являются изображениями собак, измененными с помощью инструмента Nightshade.
Один из экспертов, ознакомившихся с работой, Виталий Шматиков, профессор Корнельского университета, отметил, что исследователи "пока не знают надежных средств защиты от этих атак", а это означает, что даже такие надежные модели, как ChatGPT от OpenAI, могут оказаться под угрозой.
Исследовательскую группу, создавшую Nightshade, возглавляет Бен Чжао (Ben Zhao), профессор Чикагского университета. Новый инструмент фактически является расширением существующего программного обеспечения для защиты исполнителей под названием Glaze. В своей предыдущей работе они разработали метод, с помощью которого художник мог затушевать, или "заглазировать", стиль своего произведения.
Например, художник, создавший угольный портрет, может быть "заглазирован" так, что система искусственного интеллекта будет воспринимать его как современное искусство.
По данным Technology Review, Nightshade в конечном итоге будет внедрен в Glaze, который в настоящее время доступен бесплатно для использования или загрузки через Интернет.