Ученые из AnsibleHealth протестировали бот ChatGPT, чтобы доказать его потенциал для улучшения медобразования и клинической практики. Исследование опубликовано в журнале PLOS Digital Health.
USMLE является системой из трех экзаменов с обширным списком вопросов, которые необходимы для получения медицинской лицензии в Соединенных Штатах.
ChatGPT получил возможность ответить на 350 из 376 общедоступных вопросов USMLE.
По каждому из трех экзаменов бот набрал от 54,2% до 75% правильных ответов при проходном балле в 60%. Также ChatGPT сделал неочевидный клинический вывод почти в 89% своих ответов. При этом он обошел специально разработанную модель PubMedGPT, которая набрала на USMLE чуть более 50%.
Исследователи отметили, что врачи AnsibleHealth используют бот ChatGPT для написания отчетов, на доступном для пациентов языке.