Новый медицинский ИИ от OpenAI оказался в центре резонансного исследования. Оказалось, что система может давать опасные для здоровья советы. Поэтому эксперты предупреждают, что ложное чувство безопасности в вопросах здоровья может стоить людям жизни.
Сервис «ChatGPT Здоровье» способен анализировать медицинские карты и формировать рекомендации, хотя официально не предназначен для диагностики и лечения. В исследовании, опубликованном в журнале Nature Medicine, учёные из Mount Sinai протестировали систему на 60 клинических сценариях из 21 области, от лёгких симптомов до неотложных состояний.
С учётом изменений пола пациента и комментариев родственников было создано почти 1000 сценариев. Более чем в половине случаев, когда требовалась срочная госпитализация, ИИ советовал остаться дома или записаться к врачу. При этом 64% пациентов без угрозы получали рекомендацию ехать в приёмное отделение.
Особенно тревожным оказался эффект внешнего влияния. Если родственники в сценарии утверждали, что всё не так серьёзно, система почти в 12 раз чаще занижала риск. Эксперты называют такие ошибки слишком опасными и предупреждают о возможных юридических последствиях для OpenAI.