ChatGPT правильно диагностировал 49% сложных случаев, совпадая с мнением медицинских специалистов в 61% случаев.
Искусственный интеллект (ИИ) значительно продвинулся, но готов ли он заменить врачей? Пока нет! Недавнее исследование, опубликованное в PLOS ONE, выявило ограничения ChatGPT в точной диагностике медицинских состояний. Хотя ChatGPT, известная модель ИИ от OpenAI, может отвечать на медицинские вопросы, ему трудно справляться со сложными случаями. Давайте углубимся в результаты исследования и повеселимся по ходу дела.
Цель исследования заключалась в оценке эффективности ChatGPT в качестве диагностического инструмента для сложных клинических случаев. Исследователи использовали Medscape Clinical Challenges, которые представляют детализированные сценарии пациентов, требующие сложных диагностических навыков. Эти случаи часто включают несколько проблем со здоровьем и необычные проявления, имитируя реальную медицинскую практику. Цель состояла в том, чтобы выяснить, может ли ChatGPT точно диагностировать состояния и предлагать соответствующие варианты лечения.
Исследователи протестировали ChatGPT на 150 клинических задачах Medscape, опубликованных после августа 2021 года, чтобы убедиться, что ИИ не имел предварительного знакомства с этими случаями. Каждый случай включал детализированную историю пациента, результаты обследования и диагностические тесты. Ответы ChatGPT сравнивались с правильными ответами и выбором медицинских специалистов, использующих те же случаи.
ChatGPT предоставил правильные ответы в 49% случаев. В сравнении с большинством ответов пользователей Medscape, ChatGPT совпал с их ответами в 61% случаев. Хотя эти цифры могут показаться обнадеживающими, они выявляют значительные недостатки в диагностических способностях ИИ.
Исследование показало, что общая точность ChatGPT составляет 74%, при этом точность составляет 49%. Это означает, что, хотя ИИ хорошо справляется с исключением неправильных диагнозов, ему трудно правильно идентифицировать правильный диагноз. Это расхождение подчеркивает критическую проблему: ChatGPT может эффективно исключать неправильные ответы, но не имеет надежности для постоянного определения правильного диагноза.
Ответы ChatGPT также оценивались по когнитивной нагрузке и качеству предоставленной медицинской информации. Более половины (52%) его ответов считались с низкой когнитивной нагрузкой, что означает, что они были легки для понимания. Однако 41% требовали умеренных когнитивных усилий, а 7% были признаны весьма сложными.
Что касается качества информации, ответы ChatGPT были полными и релевантными в 52% случаев. В 43% случаев ответы были неполными, но все же релевантными. Это указывает на то, что, хотя ChatGPT может генерировать связные и грамматически правильные ответы, он часто упускает важные детали, необходимые для точной диагностики.
Исследование подчеркнуло несколько факторов, способствующих среднему уровню ChatGPT в диагностике сложных случаев. Одной из основных проблем является его обучающие данные, которые, хотя и обширны, могут не хватать глубины в специализированных медицинских знаниях. Кроме того, обучающие данные включают информацию только до сентября 2021 года, что означает, что ChatGPT может быть не в курсе последних медицинских достижений.
Ложноположительные и ложноотрицательные результаты еще больше усложняют надежность ChatGPT как диагностического инструмента. Эти неточности могут привести к ненужному лечению или пропущенным диагнозам, что представляет значительные риски в клинических условиях. "Галлюцинации" ИИ, когда модель генерирует правдоподобно звучащую, но неверную информацию, также способствуют этим ошибкам.
Хотя ChatGPT показывает потенциал как вспомогательный инструмент для медицинских учащихся, его текущие ограничения делают его непригодным в качестве самостоятельного диагностического ресурса. Способность ИИ предоставлять полную и релевантную информацию нуждается в значительном улучшении, особенно в обработке сложных реальных медицинских случаев. До тех пор, пока эти проблемы не будут решены, человеческие врачи остаются незаменимыми для точной диагностики и ухода за пациентами.