Исследователь из Гётеборгского университета Альмира Османович Тунстрём провела эксперимент, обнаживший критическую уязвимость современных ИИ-систем. В начале 2024 года она придумала несуществующее кожное заболевание «биксонимания», якобы возникающее из-за длительного просмотра экранов и чрезмерного трения глаз, и опубликовала два фальшивых исследования на сервере препринтов. Цель эксперимента заключалась в проверке способности искусственного интеллекта отличать достоверную научную информацию от фальсифицированной.
Ведущим автором статей значился вымышленный учёный Лазлив Изгубленович, чьё фото сгенерировал искусственный интеллект. В текстах присутствовали явные маркеры подделки: упоминались несуществующий университет и «Академия Звездного Флота» — прямая отсылка к научно-фантастической вселенной. Исследователи намеренно включили эти абсурдные элементы, чтобы любой внимательный читатель или система верификации могли легко распознать фальсификацию. Однако несмотря на очевидные подсказки о фейковой природе публикаций, крупные языковые модели, включая передовые системы от ведущих технологических компаний, приняли информацию за достоверную уже через несколько недель после публикации.
Результаты эксперимента превзошли самые смелые ожидания исследователей. ИИ-системы начали цитировать вымышленное заболевание как реальное, предоставлять детальные медицинские рекомендации по его лечению и активно включать «биксониманию» в свои ответы пользователям, обращающимся за медицинской информацией. Чат-боты описывали симптомы болезни, предлагали методы диагностики и даже рекомендовали конкретные способы лечения несуществующего заболевания. Более того, появились реальные научные статьи, авторы которых ссылались на фейковые исследования, не проверив их достоверность через традиционные каналы верификации.
Параллельное исследование журнала Nature совместно с компанией Grounded AI выявило масштаб проблемы галлюцинаций в научной литературе: в 65 из 100 проверенных научных публикаций 2025 года обнаружилась как минимум одна ссылка на несуществующие работы. Это означает, что 65% проанализированных статей содержали библиографические записи на исследования, которые никогда не проводились. Анализ более 4000 случайно выбранных статей из пяти крупных издательств подтвердил системный характер проблемы галлюцинаций в ИИ-генерируемом контенте, демонстрируя, что это не единичные случаи, а масштабный кризис достоверности в современной науке.
Эксперимент демонстрирует фундаментальную проблему современных языковых моделей: они не верифицируют источники и не различают достоверную информацию от фальшивой, полагаясь исключительно на статистические паттерны в обучающих данных. Если информация попадает в индексируемые базы препринтов или научные репозитории, ИИ автоматически воспринимает её как легитимную, независимо от абсурдности содержания или наличия явных маркеров фальсификации.
Последствия выходят далеко за рамки академической среды. Медицинские чат-боты, предоставляющие рекомендации миллионам пользователей ежедневно, могут распространять опасную дезинформацию о здоровье. Исследователи, использующие ИИ-ассистентов для литературного обзора, рискуют включить в свои работы ссылки на несуществующие исследования, подрывая научную целостность. Система научных публикаций, десятилетиями строившаяся на принципах рецензирования и верификации, оказывается беззащитной перед массовым внедрением генеративных моделей.
Индустрия ИИ стоит перед необходимостью разработки механизмов верификации источников и фактчекинга. Требуются новые протоколы проверки информации до её включения в обучающие датасеты, системы детекции галлюцинаций в реальном времени и прозрачные механизмы отслеживания происхождения данных. Без решения этих проблем доверие к ИИ-генерируемому контенту в критических областях останется под вопросом. 🔬
#ИскусственныйИнтеллект #ВерификацияДанных #НаучнаяДостоверность #ГаллюцинацииИИ