Исследователи Чикагского университета создали программу Nightshade, призванное защитить авторские изображения от «нейросетевого» плагиата. Специальный алгоритм обрабатывает изображение так, что ИИ, который обучается с помощью «отравленной» картинки, теряет способность понимать пользователей и выдавать правильный результат. Разработчики рассказали, зачем это нужно, и продемонстрировали возможности своего детища.
Во время бума генеративных нейросетей художники возмущались тем, что нейросети использовали их работы без разрешения. В результате такие сервисы, как Midjourney, научились «рисовать» почти как человек и даже могут копировать стили известных художников. В противовес этому учёные Чикагского университета ранее представили инструмент Glaze — он модифицирует картинку так, что нейросеть не может эффективно обучаться с её помощью. Накануне также был анонсирован алгоритм Nightshade. Он меняет пиксели обрабатываемой картинки таким образом, что человек этого не замечает, а нейросеть «сходит с ума».
Nightshade заставляет нейросеть, которая обучается на «отравленном» изображении, запоминать неправильные названия объектов и пейзажей. Например, исследователи обработали изображения собак так, чтобы обучаемая на этих картинках нейросеть видела их как кошек. В результате после обучения на наборе из 50 картинок алгоритм на запрос «нарисуй собаку» выдавал странных существ, похожих на кошек, а уже после обработки 300 изображений нейросеть рисовала вполне реалистичную кошку в ответ на просьбу изобразить собаку.
Разработчики признают, что их ПО может быть использовано в злонамеренных целях, но надеются, что Nightshade в первую очередь поможет создать сдерживающий фактор против неуважения к интеллектуальной собственности художников. Также создатели программы не исключают, что могут выложить исходный код Nightshade в интернет под свободной лицензией.