В 2024 году исследовательница из Гетеборгского университета Альмира Османович Тунстрем провела эксперимент, чтобы проверить, насколько легко искусственный интеллект может распространять ложную информацию. Она создала несуществующее заболевание — «биксономания», выдумав его симптомы и причину (синий свет) и загрузив фальшивые статьи в научные базы. Результат превзошел все ожидания: ИИ-системы начали цитировать это вымышленное заболевание как реальное, сообщает служба новостей Nature.
Как ИИ стал повторять ложные данные
Вскоре после загрузки поддельных материалов, такие популярные ИИ, как Google Gemini и Microsoft Bing, начали упоминать «биксономанию» как редкое заболевание, вызванное избыточным воздействием синего света. ChatGPT даже стал отвечать пользователям, задававшим вопросы о симптомах с учетом «биксономании», как будто это настоящая болезнь.
Поддельные статьи, созданные Османович Тунстрем, вскоре были процитированы в научных журналах. Одно из исследований, опубликованных в журнале Cureus, даже ссылался на эти фальшивые работы. В результате статью отозвали, но это подчеркивает, как легко ложные данные могут попасть в научную среду.
Тревожные последствия использования ИИ
Дезинформация в медицинских источниках, распространяемая через ИИ, может иметь серьезные последствия. Эксперты по здравоохранению выражают обеспокоенность по поводу того, что ИИ не всегда фильтрует или проверяет данные, что может привести к распространению ошибочной информации. Это создает угрозу для здоровья пользователей, особенно в случаях, когда они полагаются на ИИ для получения медицинских рекомендаций.
Исследователи предлагают внедрить системы проверки достоверности для моделей ИИ, чтобы предотвратить распространение ложных данных. Также необходимо создать стандарты и процедуры для регулярной проверки информации, предоставляемой ИИ в сфере медицины, чтобы снизить риски для пользователей.
«Биксономания» — это не только пример того, как легко искусственный интеллект может принять ложную информацию за правду, но и сигнал о необходимости совершенствования технологий фильтрации и проверки данных.
Исследование сравнило ИИ и врачей: кто лучше справляется со сложными случаями
Искусственный интеллект может распознавать болезни по сканированию глаз
Нейросеть научили определять диагноз больного человека по его языку
Подписывайтесь и читайте «Науку» в MAX