Новое исследование показало, что медицинские диагнозы ChatGPT точны менее чем в половине случаев.
Ученые попросили чат-бота на основе искусственного интеллекта (ИИ) оценить 150 тематических исследований с медицинского сайта Medscape и обнаружили, что GPT 3.5 давал правильный диагноз лишь в 49% случаев. Результаты эксперимента опубликованы 31 июля в журнале PLOS ONE. Авторы предостерегают от использования чат-бота в сложных медицинских случаях.
«Если люди напуганы и не могут быстро получить медицинскую помощь, то они могут обратиться к чат-боту, который, вроде бы, дает медицинские рекомендации, - говорит старший автор исследования доктор Амрит Кирпалани, врач детской нефрологии в Западном университете (Канада). – Я полагаю, что медицинское сообщество должно активнее разъяснять населению ограничения GPT и что он неспособен заменить мнение настоящего врача».
ChatGPT дает рекомендации на основе загруженных в 2022 году 570 гигабайт текстовых данных, взятых из книг, онлайн-статей, Википедии и других сайтов. Системы ИИ замечают закономерности в словах, на которых они были обучены, чтобы предсказывать, что может последовать за ними, что позволяет им давать ответ на вопрос. Теоретически это делает их полезными как для студентов-медиков, так и для пациентов, ищущих простые ответы на сложные медицинские вопросы, но склонность ботов к «галлюцинациям», то есть полностью придумывать ответы, ограничивает их полезность в медицинской диагностике.
Чтобы оценить точность медицинских рекомендаций ChatGPT, исследователи представили модели 150 различных исследований, включая историю болезни пациентов, результаты физического осмотра и лабораторной диагностики. На основании этих данных чат-бот ставил диагноз и давал план лечения.
Результаты оказались невыразительными: ChatGPT давал больше неправильных ответов, чем правильных – 49% правильных ответов и 51% - неправильных.
Исследователи предположили, что одной из причин такой низкой точности может быть то, что в 2022 году ИИ получил для обучения слишком маленький набор клинических данных.