ИИ от Google уличили в опасных медицинских рекомендациях

Расследование The Guardian выявило серьёзную проблему в работе функции AI Overviews (Обзор ИИ) от Google. При медицинских запросах пользователи не получают явного предупреждения о том, что информацию нужно проверять у врача. Предупреждение спрятано так, что его почти никто не видит.

Как это работает сейчас

• При первичном запросе по здоровью — предупреждения нет.
• Если нажать «Показать больше», в самом конце длинного текста, мелким светлым шрифтом появляется фраза о необходимости проверки у специалиста.
• Дизайн сделан так, что пользователь не обращает на неё внимания.

В чём опасность

1. ИИ галлюцинирует. Даже самые современные модели генерируют ложную информацию, потому что они оптимизированы на «нравиться пользователю», а не на точность.
2. Пользователи формулируют запросы некорректно. Нечёткая постановка вопроса ведёт к неверным рекомендациям.
3. Иллюзия компетентности. Люди, получив краткий, связный обзор, уверены, что это полный и достоверный ответ. Отсутствие предупреждения только укрепляет эту уверенность.
4. Переход по вредоносным ссылкам. Уверовав в качество ответа, пользователи могут доверять и предложенным ссылкам.

Что сделали после расследования

Google удалил рекомендации ИИ по некоторым медицинским запросам, но далеко не по всем. Системного решения проблемы нет.

Что требует эксперты

• Предупреждение должно быть в самом начале обзора, крупным шрифтом.
• Оно должно повторяться в тексте, чтобы не создавать иллюзии «точной информации от ИИ».

Пока Google не изменит интерфейс, пользователям медицинских запросов стоит помнить: ИИ — не врач, он может ошибаться, и эти ошибки могут стоить здоровья. Единственный безопасный источник — консультация с реальным специалистом.