Стремительное распространение технологий генеративного искусственного интеллекта привело к тому, что теперь в интернете стало сложно определить, что является реальностью, а что фейком. Одним из главных виновников в происходящем является компания OpenAI, разработавшая ChatGPT. Осознавая свою вину, компания пообещала предоставить инструменты для выявления контента, созданного искусственным интеллектом, и вот наконец-то выполнила свое обещание. Теперь разработчики могут подать заявку на участие в тестировании нового классификатора изображений, способного распознавать до 98% поддельных ИИ-изображений. Тем не менее, все равно существует множество способов обмануть этот детектор.
В настоящее время самый надежный способ определить, создано ли изображение ботом Dall-E 3 от OpenAI – проверить метаданные. С начала этого года OpenAI начала добавлять метаданные C2PA ко всем изображениям Dall-E, помечая их как ИИ-контент. Видеогенератор Sora также будет иметь эти метаданные после своего релиза. По задумке разработчиков метаданные от искусственного интеллекта должны сохраняться при всех способах манипуляции и редактирования изображений. OpenAI заявила, что присоединилась к руководящему комитету C2PA (Coalition for Content Provenance and Authenticity) для совершенствования данного стандарта.
Метаданные – это конечно хорошо, но далеко не универсальное решение проблемы. В скором времени изображения можно будет загружать в классификатор изображений OpenAI, чтобы проверить, являются ли они продуктом искусственного интеллекта. В последнем сообщении блога OpenAI говорится, что в ходе внутренних испытаний классификатор продемонстрировал способность идентифицировать до 98% ИИ-контента с частотой ложноположительных результатов всего 0,5%. Классификатор якобы может поддерживать высокий уровень обнаружения даже при редактировании изображений; например, путем обрезки, изменения насыщенности и сжатия данных.
OpenAI утверждает, что ее классификатор изображений может идентифицировать ИИ-изображения после редактирования.
Звучит здорово, но на практике обойти детектор не так уж и сложно. Более значительные изменения изображения, такие как корректировка оттенка или добавление шума, могут свести на нет алгоритм детектора. OpenAI лишь вскользь упомянула о самой большой проблеме: детектор эффективен в идентификации изображений, созданных только от Dall-E. При попытке обнаружить изображения, сгенерированные с использованием Midjourney или Stable Diffusion, точность детектора падает до 5-10%.
Это ограничение вызывает множество вопросов. Будут ли те, кто хочет создавать обманчивые изображения, использовать "официальный" инструмент, такой как Dall-E? В публично доступных ИИ-генераторах предусмотрены ограничения, препятствующие злонамеренному использованию. Вероятно, тот, у кого есть преступные намерения, модифицировал бы существующую ИИ-модель, чтобы обойти эти ограничения. Таким образом OpenAI смогла обезопасить только контент сгенерированный с помощью Dall-E.
К сожалению, никто не знает, насколько распространенными и легко обнаруживаемыми будут ИИ-фейки. Модели постоянно совершенствуются, а OpenAI только начала работу над классификатором контента. Она приглашает исследователей и журналистские некоммерческие организации присоединиться к программе тестирования, чтобы помочь оценить эффективность инструмента. Приятно видеть, что OpenAI пытается решить эту проблему, но, возможно, было бы неплохо выпустить сначала работающие ИИ-детекторы, прежде чем каждый пользователь получил возможность воплотить в жизнь свои самые смелые мечты с помощью текстовой подсказки.