Каждый, кто общался с нейросетями вроде ChatGPT, Deepseek, Claude или Gemini, сталкивался с ситуацией: в чате запросы генерируются уверенно, но оказываются абсолютной выдумкой или ошибкой.
Моя первая встреча с ложью
Впервые с этим столкнулась, когда преподаватель задала найти нам ВАК-статьи для будущей публикации.
Я долго сёрфила по просторам интернета, и поняла...что найти достоверные источники дело занимательное и долгое. И возникла идея сделать запрос интересующей меня темы в ChatGPT. Думал он долго, а потом выдал на первый взгляд пригодный список.
Так как информацию всегда перепроверяю, я начинаю искать первую статью из списка - а таких авторов в природе не существует.
В момент, когда разум загружен заданиями - соображаешь с замедлением.
И тут в моей голове возник первый вопрос к нейронке: "А ты врать умеешь даже настолько правдиво? Бессмертная что ли?"
А далее я поняла, что она и несуществующую книгу генерирует с легкостью даже с подробной аннотацией, ссылается на закон, которого нет, или называет фальшивые исторические даты.
Также она мне приказ Минздрава нужной нумерации и даты сгенерировала.
КЛЮЧЕВОЕ: приказа этого в открытом доступе, в консультанте и гаранте нет.
В своей статье предлагаю рассмотреть почему это происходит и можно ли нейронной сети доверять как себе?
ИИ не знает, что такое «правда»
Ключевой момент, который часто упускают: нейросеть не понимает смысла, не имеет доступа к знаниям в человеческом смысле и не проверяет факты.
Она обучается на огромных массивах текста и учится предсказывать, какое слово или фраза вероятнее всего следуют за предыдущими.
Проще говоря, ИИ — это не энциклопедия, а самая настоящая статистическая модель языка.
Если в обучающих данных часто встречались сочетания «Альберт Эйнштейн сформулировал теорию относительности в 1905 году», модель запомнит этот паттерн.
Но если где-то в данных встречалось «Теорию относительности поддержал президент Теодор Рузвельт» (что неправда), модель может воспроизвести и это — если паттерн выглядит правдоподобно с точки зрения статистики.
Феномен «галлюцинаций»
А это явление — генерация неправдоподобной или ложной информации — называется галлюцинациями. И это не баг, а фундаментальное свойство современных языковых моделей.
Почему галлюцинации возникают?
- Нет механизма проверки фактов: у модели нет доступа к реальному миру или базе знаний «в реальном времени» (если не подключена специально, но общедоступные нейронки точно такого доступа не имеют). Поэтому нейронка генерирует текст, который выглядит правдоподобно, а не истинно.
- Цель — убедительность, а не истина: в обучении модель поощряется за создание связного, грамматически правильного и уместного в контексте текста. И тут нюанс - исторически связный текст часто бывает правдивым, а бывает ложным.
- Пробелы в данных: если модель не знает ответа, но запрограммирована дать ответ (а не сказать «не знаю»), она заполняет пробелы наиболее вероятными с её точки зрения словами, создавая (читать- придумывая) вымысел.
- Избыточная уверенность: языковые модели часто учатся имитировать уверенный, авторитетный тон, потому что такой стиль распространён в обучающих данных (учебники, научные статьи).
Шокирующий пример: исследования показывают, что при генерации ответов с цитатами и ссылками модели могут выдумывать до 30-50% ссылок — несуществующие названия статей, журналов, и даже URL.
Как ловить «галлюцинации» и снижать риски
Полностью устранить галлюцинации в текущих языковых моделях нельзя, но можно минимизировать их влияние. Сейчас поделюсь, а пока обратите внимание на этот шедевр, который нейронка сгенерировала сама про себя. Не хотелось бы мне быть её психологом. Явная патология прослеживается.
Критическое мышление пользователя -важнейший пункт.
Кстати, в психическом здоровье также важным пунктом является критика к себе.
- Перепроверяйте важные факты, особенно цифры, даты, имена, юридические и медицинские советы.
- Не доверяйте слепо ссылкам и цитатам — проверяйте их в поисковике.
- Просите модель указывать уровень уверенности: задавайте уточняющие вопросы вроде «Насколько ты уверен в этом?» или «Можешь ли ты выделить в ответе факты и предположения?».
Технические приёмы при работе с ИИ
- Задавайте вопрос иначе: если ответ вызывает сомнения, переформулируйте запрос, разбейте его на части, попросите привести источники.
- Давайте контекст и ограничения: «Отвечай, опираясь только на предоставленный ниже текст», «Если информации недостаточно, скажи об этом».
Перспективные технологические решения
- Системы RAG (Retrieval-Augmented Generation — генерация с усилением на основе извлечения): это подход, при котором перед генерацией ответа модель сначала ищет информацию в заданной базе достоверных документов (ваши файлы, проверенная база знаний, интернет-поиск). Это самый мощный метод борьбы с галлюцинациями в конкретных задачах. Ответ привязывается к реальным источникам, а не к памяти модели.
- Промпт-инжиниринг: грамотное проектирование запросов с инструкциями, например: «Сначала найди информацию, затем сгенерируй ответ на её основе. Если информации нет, так и скажи».
- Калибровка уверенности: современные модели учатся оценивать вероятность ошибки в своих ответах.
Перейдём к выводам
Нейросеть «врёт» не из злого умысла — она просто создаёт текст, максимально похожий на правду, исходя из своих алгоритмов (понять и простить?). Галлюцинации — это плата за её способность обобщать, творить и вести связный диалог.
Понимание этого — первый шаг к эффективной работе с ИИ.
Думаю, что уже в недалёком будущем нас ждёт развитие гибридных систем, где языковые модели будут тесно интегрированы с поисковыми механизмами и базами знаний, что значительно повысит их надёжность. Но оператор всё равно важен. Не вижу я пока что будущего за нейронками.
Но пока главный фактчекер (специалист, проверяющий достоверность информации) в диалоге с ИИ — это вы.
Используйте нейросети как мощный инструмент для генерации идей и черновиков, но всегда включайте критическое мышление на этапе проверки результата.
Проверяйте важную информацию в авторитетных источниках.
А Вы проверяете достоверность фактов, после использования нейронки?