И 17 ответов на них от Андрея Комлева, главного архитектора платформы ПРИИСК.
Тема про достоверность ответов ИИ – одна из трех ключевых при внедрении ИИ-инструментов в организации. Компании учатся доверять искусственному интеллекту, но нужно учитывать риски и грамотно с ними работать.
Искусственный интеллект – это инструмент. Как молоток. Можно построить дом, а можно разбить окно…
Мы задали Андрею несколько вопросов о том, откуда берутся сомнения в безопасности ИИ, что реально угрожает данным, а что — лишь мифы, и какие практики помогают сделать использование технологий надёжным и прозрачным.
Подробнее на тему в формате подкаста:
1. Что такое галлюцинации в ChatGPT и других ИИ-помощниках?
Галлюцинации ИИ — это ответ языковой модели, который звучит очень правдоподобно, но на самом деле является вымыслом, ошибкой или искажением фактов.
Например, ИИ может придумать несуществующую книгу или ошибиться в историческом событии, будучи уверенным в своей правоте.
Так происходит не потому, что ИИ «врёт» осознанно, а из-за особенностей его работы: модель предсказывает слова на основе статистики, а не истины. Если в данных обучения были неточности или вопрос сформулирован нечётко, ИИ может «дорисовать» недостающее, как человек в игре «испорченный телефон».
Для бизнеса это важно, потому что слепое доверие к ответам может привести к ошибкам в отчётах, маркетинге или переговорах. Проверять ключевые данные из ИИ — как проверять расчёты калькулятора: даже надёжные инструменты иногда ошибаются.
2. Почему иногда ИИ выдумывает факты?
ИИ обучается на огромных массивах текстов, где есть и правда, и мифы, и противоречивые данные. Он не понимает смысла, а лишь угадывает, какие слова чаще сочетаются. Поэтому, если в его «опыте» встречаются ошибки, он может воспроизвести их как факт.
Кроме того, ИИ оптимизирован для убедительных ответов, а не для истины. Если спросить его о чём-то редком (например, «какие компании купил Илон Маск в 2026 году?»), он не скажет «Я не знаю», а придумает правдоподобный список.
Для пользователей это означает: чем менее распространён факт, тем выше риск галлюцинации. Как с советом случайного человека в кафе — звучит уверенно, но требует проверки.
3. Может ли ИИ осознавать, что галлюцинирует, или он всегда уверен в своих ответах?
ИИ не обладает сознанием, поэтому не «осознаёт» свои ошибки. Его уверенность — это лишь вероятность совпадения слов в его базе данных. Например, если он отвечает:«Солнце вращается вокруг Земли» (что неверно), это не значит, что он «верит» в это — просто такие фразы встречались при его обучении.
Иногда ИИ выдаёт ответы с оговорками («насколько я знаю», «возможно»), но это тоже шаблон, а не рефлексия. Технически можно настроить модель на меньшую уверенность, но тогда она станет чаще говорить «я не знаю», что разочарует пользователей.
Вывод: доверять можно только проверенным источникам, а не тону ответа ИИ. Как с GPS, который уверенно ведёт в тупик потому что система не «заметила» ошибку.
4. По каким признакам можно понять, что ИИ выдал ложную информацию?
Первый признак — отсутствие чётких источников. Если ИИ утверждает что-то без ссылок на сайты, книги или исследования, стоит насторожиться. Например, фразы: «Учёные доказали…» без имён и дат — красный флаг.
Второй признак — внутренние противоречия. Спросите одно и то же разными словами, и, если ответы не совпадут, вероятна галлюцинация. Например, один раз ИИ назовёт дату события 1995 год, а другой — 2001.
Третий признак — невероятные детали. Если ИИ описывает несуществующие технологии или цитирует нечитаемые «исследования», это явный вымысел. Проверка занимает минуты в Google, но спасает от ошибок.
5. Правда ли, что чем увереннее звучит ответ ИИ, тем он точнее?
Нет, уверенность ИИ не гарантирует правдивости.
Модель тренирована давать плавные, логичные ответы, даже если они ложные. Например, на вопрос «Кто изобрёл телефон в 1800 году?» ИИ может уверенно назвать неверное имя – просто потому, что оно «похоже» на изобретателя.
Более того, ИИ часто «притворяется» экспертом в нишевых темах. Спросите его о деталях редкого заболевания или закона — и он создаст убедительный, но ложный текст с псевдонаучными терминами.
Правило для бизнеса: любые данные, влияющие на решения (цены, законы, статистика), требуют перекрёстной проверки. Уверенность ИИ — это стиль, а не гарантия.
6. Какие типы вопросов чаще всего провоцируют галлюцинации?
Самые рискованные вопросы, те, где требуется точность в малоизвестных или быстро меняющихся данных.
Например:
• «Перечислите последние научные открытия 2024 года» (ИИ может выдумать исследования).
• «Дайте юридическую консультацию по нишевому закону» (риск неточной трактовки).
• «Опишите несуществующий продукт компании X» (ИИ «дорисует» детали).
Почему так происходит? У ИИ нет доступа к актуальной базе знаний (если только это не RAG-модель), а его обучение заканчивается на определённой дате. Чем уже тема, тем чаще он опирается на шаблоны, а не факты.
Что делать бизнесу? Избегать открытых вопросов без «якорей» (например, вместо «Какие тренды будут в 2025 году?» спрашивать «Какие тренды в [отрасли] прогнозируют McKinsey на 2025 год?»*).
Также хорошо применять RAG (Retrieval-Augmented Generation) — модели, которые умеют искать информацию в свежих базах данных, а не только полагаться на обучение.
7. Есть ли способы проверить ответ ИИ на достоверность?
Вот, например, 3 вполне рабочих метода:
• Перекрёстная проверка фактов
Тут есть 2 ключевых подхода:
– Задать один и тот же вопрос нескольким моделям и сравнить ответы. Если только 1 модель единственная «знает» этот факт или ответы моделей в фактах отличаются, то это подозрительно и требует дальнейшей проверки.
– Попросить модель проверить факт с использованием MCP серверов
• Уточняющие вопросы
Делать дальнейшую детализацию вопроса на более точные факты и формулировки. Например, спросить ИИ: «Где можно проверить эту информацию?» или «Приведите источник». Если он не даёт ссылок, то вероятна галлюцинация.
• Специальные инструменты контроля
Совет для бизнеса – внедрять внутренние чек-листы и дополнительные мультиагентные схемы по проверке качества.
Например:
- Все данные из ИИ по финансам/юриспруденции проверяются в 1-2 внешних источниках с использованием тех же MCP серверов.
- Использовать периодическую проверку. Например, в модуле проверки качества в ПРИИСК мы проверяем созданных нейропомошников и сами модели на качество ответов по проверенному чеклисту вопросов.
8. Помогает ли уточненная формулировка вопроса получить более точный ответ?
Да, и вот почему:
• ИИ интерпретирует каждый вопрос уникально. Небольшие изменения в формулировке могут «разбудить» другие части его базы знаний. Например, вопрос «Какие компании купил Apple?» и «Перечислите поглощения Apple за последние 10 лет» дадут разные результаты.
• Если ответ кажется сомнительным, попробуйте добавить контекст: «Приведите только подтверждённые сделки Apple с 2015 года». Это снижает пространство для вымысла.
Но есть нюансы. Некоторые «переформулировки», наоборот, запутывают ИИ. Например, слишком сложные или многословные вопросы увеличивают риск ошибок.
Лучшая тактика — задавать вопросы «шаг за шагом». Вместо «Напишите аналитический отчёт о рынке» спросите: «Какие 3 ключевых тренда в отрасли X за 2024 год?» → «Какие компании их возглавляют?» → «Приведите данные по росту рынка».
Что делать бизнесу?
• Обучите команду задавать простые и конкретные вопросы.
• Используйте шаблоны, например «Дай 3 примера [X] с источниками» вместо открытых запросов.
9. Какие инструменты могут помочь отличить правду от вымысла в ответах ИИ?
Популярные решения:
- Факт-чекинговые сервисы
• Factiverse — анализирует текст на достоверность, выделяет спорные утверждения.
• NewsGuard — проверяет ссылки на авторитетность источников. - Поисковые системы с ИИ
• Perplexity.ai — даёт ответы с цитатами из актуальных статей и исследований.
• You.com — показывает источники информации прямо в ответе - Корпоративные инструменты
• IBM Watson Discovery — ищет совпадения в вашей внутренней базе документов.
• Google Fact Check Tools — для проверки публичных заявлений.
Как это использовать?
• Встраивайте такие сервисы в workflow. Например, перед публикацией пресс-релиза пропускайте текст через Originality.ai (ищет вымышленные факты).
• Для аналитики используйте Glasp — он сохраняет веб-страницы с цитатами, чтобы позже проверить данные.
Важно: Ни один инструмент не даёт 100% гарантии. Комбинация «ИИ + человек» — лучшая защита.
10. Лгут ли ИИ так же, как люди, или это другой механизм?
Ключевое отличие – люди лгут осознанно, у них есть мотивы (страх, выгода, манипуляция, …). ИИ не имеет намерений, его «ложь» – это ошибка предсказания.
Например, если вы спросите: «Был ли Илон Маск на Луне?», ИИ может сказать «да». Но не из-за обмана, а потому, что в его данных есть фразы типа «Маск и космос».
Но есть параллели:
• Как пациенты с амнезией, ИИ заполняет пробелы правдоподобным вымыслом.
• ИИ выбирает ответы, которые «чаще всего верны» в его тренировочных данных, даже если они не точны для конкретного случая.
Что делать бизнесу?
• Не персонализируйте ошибки ИИ («он врёт»). Вместо этого анализируйте паттерны. Например, если модель часто ошибается в датах, проверяйте их вручную.
• Используйте «калибровку». Инструменты вроде Scale AI или Label Studio помогают дообучать ИИ на ваших данных, снижая галлюцинации.
11. Может ли ИИ намеренно искажать информацию, как это делают люди?
Нет, но есть нюансы. ИИ не имеет сознания, поэтому не может хотеть обмануть. Однако его можно намеренно настроить на ложь (например, злоумышленники тренируют модели для дезинформации).
Вредоносные ИИ-боты уже используются для генерации фейковых новостей, создания поддельных отзывов или фишинговых атак.
Как защититься?
• Верификация автора. Сервисы вроде GPTZero определяют, написан ли текст человеком или ИИ.
• Юридические меры. В ЕС по закону об ИИ (AI Act) требуют маркировки ИИ-контента. В бизнесе аналогично — помечайте, где использован ИИ
• Технический аудит. Проверяйте, какие данные использует модель. Например, Hugging Face позволяет анализировать тренировочные наборы.
ИИ — инструмент. Как молоток, он может построить дом или разбить окно. Всё зависит от пользователя.
12. Почему даже самые продвинутые ИИ, как GPT-4, всё равно галлюцинируют?
Что может быть причиной неверных ответов ИИ
• Ограничения обучения. Модели учатся на «снимке» интернета, который содержит ошибки, сатиру, устаревшие данные.
• Отсутствие понимания. ИИ не осознаёт смысла текста. Он может идеально сгенерировать диагноз болезни, но не поймёт, что он смертелен.
• Компромисс между креативностью и точностью. Если сделать ИИ сверхосторожным (чаще говорит «я не знаю»), пользователи посчитают его бесполезным.
Пример: GPT-4 ошибается в 15-20% фактологических запросов (данные Stanford AI Index 2024). Для сравнения: ошибки врачей в диагнозах — около 10-15%.
Что делать бизнесу?
• Использовать доменно-специфичные модели (например, BloombergGPT для финансов) и обученные на узких данных.
• Внедрять гибридные системы. ИИ генерирует черновик, эксперты правят, затем модель проверяет на противоречия.
13. Влияет ли объём данных, на которых обучался ИИ, на частоту галлюцинаций?
Хотя кажется логичным предположить, что больше данных = меньше ошибок, на практике все не так однозначно.
Да, модели типа GPT-4 обучаются на экзабайтах информации, но:
• Качество важнее количества. Если в данных много противоречий или ошибок, ИИ усвоит и их
• Перекос в тематиках. Некоторые области (например, научные направления) могут быть представлены недостаточно
• Проблема «последней мили». Самые свежие данные часто отсутствуют
Приведем пример. Модель, обученная на всех учебниках по медицине, всё равно будет ошибаться в новых методах лечения, так как её знания «заморожены» на дате обучения.
Что делать бизнесу?
• Уточняйте, на каких данных обучалась используемая вами модель
• Для актуальной информации предпочитайте ИИ с доступом к интернету (Bing Chat, Perplexity)
• В специализированных областях лучше работают дообученные модели
14. Будут ли новые версии ИИ полностью избавлены от галлюцинаций?
Полное (на 100%) устранение галлюцинаций маловероятно по нескольким причинам:
• Природа генеративных моделей – они созданы не для поиска истины, а для генерации правдоподобного текста
• Проблема оценки истинности – даже люди часто не могут договориться, что считать фактом
• Компромисс с другими параметрами – уменьшение галлюцинаций может снизить креативность и скорость работы
К 2025-2027 годам возможно снижение частоты галлюцинаций в 2-3 раза, появление улучшенных механизмов указания на ненадёжные утверждения и специализированных «режимов!, таких, как строгий факт-чекинг.
Что делать бизнесу?
• Не ждите «идеальной» версии – адаптируйте процессы к текущим возможностям
• Инвестируйте в системы проверки, а не только в сами ИИ-модели
• Разрабатывайте внутренние стандарты работы с ИИ
15. Какие технологии разрабатывают, чтобы уменьшить вымысел в ответах ИИ?
Можно выделить 4 перспективных направления, которые помогут взять выдумки ИИ под контроль:
- RAG (Retrieval-Augmented Generation). Модель проверяет факты в актуальных базах данных перед генерацией ответа.
- Контрольные механизмы. Это могут быть модули факт-чекинга, работающие параллельно с генерацией, или алгоритмы, оценивающие уверенность модели в каждом утверждении.
- Специализированные архитектуры. Используйте модели, разделяющие «знания» и «рассуждения», или системы, требующие указания источников для каждого факта.
- Человеко-машинные системы. Такие, как гибридные решения, где критичные утверждения проверяются экспертами, или платформы коллективной верификации (аналоги Википедии для ИИ)
Что можно внедрить уже сейчас?
• Использовать API с функцией приведения источников (например, Anthropic Claude)
• Подключать корпоративные базы знаний через инструменты типа LangChain
• Внедрять автоматические перекрёстные проверки между разными моделями
16. Как бизнесу использовать ИИ, чтобы минимизировать риски галлюцинаций?
Во-первых, нужно сегментировать задачи по уровню риска:
• Высокий риск: юридические документы, медицинские диагнозы, …
• Средний риск: маркетинговые тексты, аналитические отчёты, …
• Низкий риск: генерация идей, первичная обработка данных, …
Во-вторых, нужно внедрять защитные механизмы:
• Обязательная проверка экспертом для задач высокого риска.
• Чек-листы для самопроверки (например, «все ли цифры имеют источник?»).
• «Водяные знаки» для ИИ-генерируемого контента.
В-третьих, применять проверенные для таких задач технические решения при настройке нейропомощников:
• Настройка температуры (параметр случайности) для разных задач.
• Использование enterprise-версий с улучшенным контролем качества.
• Логирование всех запросов и ответов для последующего аудита.
17. Есть ли кейсы, когда галлюцинации ИИ принесли пользу?
Конечно есть. Как и любые другие ошибки.
Вот небольшой список примеров.
- Креативные индустрии:
• Генерация уникальных художественных образов и сюжетов
• Создание ошибок, которые становятся новыми направлениями в дизайне. Пример: нейросеть Midjourney иногда создаёт удивительные арт-объекты именно благодаря галлюцинациям - Научные исследования:
• Нестандартные гипотезы, которые учёные не рассматривали
• Обнаружение неочевидных связей между концепциями. Например, в фармакологии ИИ придумал молекулу, которая оказалась перспективной - Бизнес-инновации:
• Генерация радикально новых бизнес-моделей
• Предсказание “чёрных лебедей” через экстраполяцию трендов Например, ИИ предложил сервис подписки, который стал хитом.
Здесь важно использовать ИИ осознанно. Создавать отдельные “креативные режимы” с повышенной температурой. Анализировать ошибки на предмет полезных инсайтов. Проводить регулярные мозговые штурмы с ИИ для генерации идей.