Учёные выдумали болезнь. Через несколько недель её начали диагностировать чат-боты

Исследователи создали фиктивное заболевание под названием «биксонимания» и намеренно разместили информацию о нём в интернете. Эксперимент должен был показать, способны ли современные языковые модели отличать реальную медицинскую информацию от искусственно созданного шума.

Результат оказался показательным. Через некоторое время отдельные ИИ-системы начали воспринимать выдуманный диагноз как существующий медицинский термин. В ответах пользователям модели описывали симптомы, причины заболевания и возможные методы лечения, хотя такой болезни никогда не существовало.

Почему модели поверили в несуществующий диагноз

Большинство популярных LLM обучаются на огромных массивах текстов из интернета. Если ложная информация начинает встречаться в достаточном количестве источников, модель может воспринимать её как достоверную закономерность.

Проблема здесь глубже обычной галлюцинации. Речь идёт о ситуации, когда система воспроизводит ошибку, потому что встретила её в данных, а не потому что не смогла построить ответ. Для пользователя оба сценария выглядят одинаково убедительно.

Медицинские запросы остаются одной из самых рискованных зон

История с «биксониманией» показывает старую проблему генеративного ИИ в новом масштабе. Пользователь видит уверенный ответ, ссылки на симптомы и медицинскую терминологию. Проверить достоверность такой информации самостоятельно способен далеко не каждый.

Поэтому разработчики крупнейших моделей продолжают предупреждать, что чат-боты не должны использоваться как единственный источник медицинских рекомендаций. Даже качественная модель может смешивать реальные данные и ошибочные сведения, если они присутствуют в обучающих материалах.

Новый тип атаки на ИИ

Эксперимент интересен ещё и с точки зрения безопасности. Теоретически злоумышленники могут целенаправленно распространять большое количество похожих материалов, чтобы повысить вероятность появления нужной информации в ответах моделей.

Пока нет доказательств, что такой подход способен массово влиять на крупнейшие коммерческие модели. Однако сама возможность стала ещё одним аргументом в пользу проверки источников и дополнительной фильтрации данных при обучении ИИ.

Где проходит граница между поиском и знанием

История с выдуманной болезнью напоминает о важном ограничении современных LLM. Модель не хранит проверенный справочник фактов. Она предсказывает наиболее вероятный ответ на основе информации, которую встречала раньше.

Поэтому главный вопрос для рынка сегодня звучит не как «насколько умной стала модель», а как «насколько хорошо она умеет сомневаться». Именно способность распознавать недостоверные данные может стать одним из ключевых критериев качества ИИ следующего поколения.