Представьте, что вам нужно изображение воздушного шара для создания баннера. Вы обращаетесь к Midjourney или DALL-E и вводите подсказку: «красный воздушный шар на фоне голубого неба». Но вместо желаемого, генератор возвращает вам изображение яйца. Вы пытаетесь еще раз, но на этот раз генератор показывает арбуз.
Что происходит?
Возможно, генератор, который вы используете, был «отравлен».
Что такое «отравление данных»?
Генераторы изображении из текста работают за счёт обучения на больших наборах данных, которые включают миллионы или миллиарды изображений. Некоторые генераторы, например предлагаемые Adobe или Getty, обучаются только на изображениях, которыми владеет изготовитель генератора или имеет лицензию на использование.
Но другие генераторы обучены без разбора собирать онлайн-изображения, многие из которых могут быть защищены авторским правом. Это привело к множеству дел о нарушении авторских прав, когда художники обвиняли крупные технологические компании в краже их работ и получении прибыли.
Конечно, творческие люди от такого не в восторге. Так появилась идея «яда» и инструмент под названием "Nightshade" для борьбы с несанкционированным сбором изображений.
Инструмент тонко меняет пиксели изображения таким образом, что это наносит ущерб компьютерному зрению, но оставляет изображение неизменным для человеческого глаза.
Если одно из этих изображений попадает в обучающий набор будущей модели ИИ, ее пул данных становится «отравленным». Это может привести к тому, что алгоритм научится ложно классифицировать изображение. В результате генератор может начать возвращать непредсказуемые и совершенно неуместные результаты.
Симптомы отравления
Воздушный шар может стать яйцом. Запрос изображения в стиле Моне может вместо этого вернуть изображение в стиле Пикассо.
Некоторые проблемы с более ранними моделями ИИ, такие как, например, проблемы с точной отрисовкой рук, могут вернуться. Модели также могут привносить в изображения другие странные и нелогичные детали — например, шестиногих собак или деформированные диваны.
Чем больше «отравленных» изображений попадёт в обучающие данные, тем больше будет искажение. Из-за того, как работает генеративный ИИ, ущерб от «отравленных» изображений также влияет на соответствующие ключевые слова.
Например, если в обучающих данных используется «отравленное» изображение Ferrari, это также может повлиять на быстрые результаты для других марок автомобилей и других связанных терминов, таких как транспортное средство и автомобиль.
Разработчик Nightshade надеется, что этот инструмент заставит крупные технологические компании более уважительно относиться к авторским правам, но также возможно, что пользователи могут злоупотреблять этим инструментом и намеренно загружать «отравленные» изображения в генераторы, чтобы попытаться нарушить работу их служб.
Есть ли противоядие?
В ответ заинтересованные стороны предложили ряд технологических и человеческих решений. Наиболее очевидным является внимательное отношение к тому, откуда поступают входные данные и как их можно использовать. Это приведет к более избирательному сбору данных.
Этот подход действительно бросает вызов распространенному среди ученых-компьютерщиков убеждению, что данные, найденные в Интернете, могут быть использованы для любых целей, которые они считают подходящими.
Другие технологические исправления также включают использование «ансамблевого моделирования», при котором разные модели обучаются на множестве разных подмножеств данных и сверяются между собой. Этот подход можно использовать не только для обучения, но и для обнаружения и исключения подозрительных «отравленных» изображений.
Аудит – еще один вариант. Один из подходов к аудиту предполагает разработку «тестовой батареи» — небольшого, тщательно подобранного и хорошо маркированного набора данных — с использованием «отложенных» данных, которые никогда не используются для обучения. Этот набор данных затем можно использовать для проверки точности модели.
Стратегии против технологий
Так называемые «состязательные подходы» (те, которые ухудшают, отрицают, обманывают или манипулируют системами ИИ), включая отравление данных, не являются чем-то новым.
Например, правозащитники уже некоторое время обеспокоены неизбирательным использованием машинного зрения в обществе в целом. Эта проблема особенно остро стоит в отношении распознавания лиц.
Такие системы, как Clearview AI, в которых размещена огромная база данных лиц с возможностью поиска, взятых из Интернета, используются правоохранительными и государственными учреждениями по всему миру. В 2021 году правительство Австралии установило, что Clearview AI нарушил конфиденциальность австралийцев.
В ответ на то, что системы распознавания лиц используются для профилирования конкретных людей, в том числе законных протестующих, художники разработали модели макияжа из неровных линий и асимметричных кривых, которые не позволяют системам наблюдения точно их идентифицировать.
Существует четкая связь между этими случаями и проблемой отравления данных, поскольку оба они связаны с более широкими вопросами технологического управления.
"Отравление данных" может показаться разработчикам ИИ неприятной проблемой. Но таким образом творческие люди защищают свои права от посягательства на свои фундаментальные моральные права.
