В начале 2026 года OpenAI запустила сервис ChatGPT Health, позволяющий анализировать медицинские данные пользователей и выдавать советы по здоровью. Несмотря на предупреждение о том, что сервис не предназначен для диагностики и лечения, независимая проверка, опубликованная в Nature Medicine, выявила серьёзные проблемы с безопасностью.
Группа исследователей из медицинского комплекса Mount Sinai Hospital провела стресс-тестирование ChatGPT Health на 60 клинических сценариях, охватывающих 21 медицинскую область. В более чем половине случаев, когда требовалась срочная госпитализация, ИИ рекомендовал остаться дома или записаться к врачу, игнорируя признаки состояний, угрожающих жизни.
Особенно опасным оказалось влияние комментариев «родственников» или «друзей» в запросах: если в сообщении указывалось, что ситуация несерьёзная, вероятность ошибочной рекомендации возрастала в 12 раз. В то же время, в 64% неэкстренных случаев ChatGPT Health, наоборот, советовал немедленно обратиться в приёмное отделение.
Учёные называют такие ошибки «невероятно опасными» и предупреждают о риске ложного чувства безопасности у пользователей. OpenAI заявила, что продолжает совершенствовать модели, но результаты проверки вызывают вопросы о юридической ответственности компании.
Проблемы с точностью медицинских советов отмечены и у других ИИ-сервисов, включая Google AI Overviews. Исследователи подчёркивают, что массовое внедрение подобных систем требует строгого контроля, прозрачности и независимых оценок.