Исследователи из OpenAI разработали способ обнаруживать и исправлять ложные или заблуждающие утверждения, генерируемые системами искусственного интеллекта (ИИ). Этот метод может помочь повысить доверие к ИИ и предотвратить его злоупотребление.
Системы ИИ, основанные на глубоком обучении, способны создавать убедительные тексты, изображения и звуки на основе небольшого количества входных данных. Однако эти системы также могут производить неверную или искаженную информацию, которая может ввести в заблуждение читателей или слушателей. Например, система ИИ может сгенерировать ложное утверждение о том, что вакцина от COVID-19 вызывает рак, или что определенный политик совершил преступление.
Для решения этой проблемы исследователи из OpenAI предложили метод, который они назвали проверкой фактов на основе контрастивного обучения (Fact-Checking via Contrastive Learning, FCCL). Этот метод состоит из двух шагов: обнаружения и исправления ложных утверждений.
На первом шаге метод FCCL использует модель ИИ, которая сравнивает утверждение с набором фактов из надежных источников, таких как Википедия или научные статьи. Если модель обнаруживает расхождение между утверждением и фактами, она помечает его как ложное или подозрительное.
На втором шаге метод FCCL использует другую модель ИИ, которая пытается исправить ложное утверждение, сделав его более правдоподобным и соответствующим фактам. Для этого модель изменяет некоторые слова или фразы в утверждении, сохраняя при этом его смысл и структуру.
Исследователи показали, что метод FCCL способен эффективно обнаруживать и исправлять ложные утверждения, генерируемые различными системами ИИ, такими как GPT-3 или Grover. Они также продемонстрировали, что метод FCCL может работать с разными типами данных, такими как тексты, изображения и аудио.
Метод FCCL может иметь множество применений в разных областях, где важна достоверность информации. Например, он может помочь журналистам проверять факты в своих статьях, учителям оценивать правильность ответов студентов, или пользователям социальных сетей отличать правду от лжи.
Однако метод FCCL также имеет свои ограничения и риски. Во-первых, он зависит от качества и актуальности источников фактов, которые могут быть неполными, устаревшими или предвзятыми. Во-вторых, он может быть использован для манипуляции или дезинформации, если кто-то захочет сознательно создавать или распространять ложную информацию с помощью ИИ. В-третьих, он может нарушать авторские права или этические нормы, если он изменяет оригинальный контент без разрешения или согласия его создателей.
Поэтому исследователи призывают к ответственному и прозрачному использованию метода FCCL, а также к разработке дополнительных механизмов контроля и регулирования ИИ. Они также подчеркивают, что метод FCCL не является панацеей от вранья ИИ, и что человеческий критический скептицизм и здравый смысл по-прежнему необходимы для проверки информации.
Исследование OpenAI было опубликовано в журнале Nature Machine Intelligence под названием “Fact-Checking via Contrastive Learning”.