Система искусственного интеллекта (ИИ), обученная проводить медицинские интервью, сравнялась или даже превзошла результаты врачей в общении с симулированными пациентами и перечислении возможных диагнозов на основе истории болезни пациентов.
Чатбот, созданный на основе большой языковой модели (LLM), разработанной Google, оказался более точным, чем сертифицированные врачи первичного звена, в диагностике респираторных и сердечно-сосудистых заболеваний, а также других заболеваний. По сравнению с врачами, бот смог получить аналогичный объем информации во время медицинских интервью и занял более высокое место по уровню эмпатии.
Результаты исследования были опубликованы в репозитории препринтов arXiv.
Чатбот, получивший название Articulate Medical Intelligence Explorer (AMIE), пока является чисто экспериментальным. Он не тестировался на людях с реальными проблемами со здоровьем — только на актерах, обученных изображать людей с медицинскими заболеваниями. Несмотря на то, что чатбот еще далек от использования в клинической практике, авторы разработки утверждают, что со временем он может сыграть свою роль в демократизации здравоохранения. Но, по словам Адама Родмана, врача-терапевта Гарвардской медицинской школы в Бостоне, этот инструмент может быть полезен, но он не должен заменять общение с врачами. "Медицина — это не просто сбор информации, это человеческие отношения", — говорит он.
Лишь немногие попытки использовать LLM в медицине были направлены на изучение того, смогут ли эти системы имитировать способность врача взять историю болезни человека и использовать ее для постановки диагноза. Студенты-медики тратят много времени на обучение именно этому, говорит Родман. "Это один из самых важных и сложных навыков, которые необходимо прививать врачам".
При создании модели LLM разработчики столкнулись с нехваткой реальных медицинских разговоров, которые можно было бы использовать в качестве обучающих данных. Чтобы решить эту проблему, ученые разработали способ, с помощью которого чатбот может обучаться на собственных "разговорах".
Исследователи провели первый раунд тонкой настройки базовой модели LLM с использованием существующих наборов реальных данных, таких как электронные медицинские карты и расшифровка медицинских разговоров. Для дальнейшего обучения модели ученые попросили LLM сыграть роль человека с определенным заболеванием, а также роль сочувствующего врача, пытающегося понять историю болезни и поставить возможный диагноз.
Команда также попросила модель сыграть еще одну роль: роль критика, который оценивает взаимодействие врача с пациентом и дает рекомендации по улучшению этого взаимодействия. Эта критика используется для дальнейшего обучения LLM и создания улучшенных диалогов.
Для тестирования системы ученые привлекли 20 человек, обученных выдавать себя за пациентов, и заставили их провести текстовые онлайн-консультации — как с AMIE, так и с 20 сертифицированными врачами. При этом им не сообщали, с кем они общаются — с человеком или с ботом.
Актеры смоделировали 149 клинических сценариев, после чего их попросили оценить свои впечатления. Работу AMIE и врачей также оценивала группа специалистов.
ИИ-система сравнялась или превзошла точность диагностики врачей во всех шести рассматриваемых медицинских специальностях. Бот превзошел врачей по 24 из 26 критериев качества разговора, включая вежливость, объяснение состояния и лечения, честность, а также выражение заботы и заинтересованности.
"Это ни в коем случае не означает, что языковая модель лучше врачей в сборе истории болезни", — говорят разработчики. Они отмечают, что врачи первичного звена, участвовавшие в исследовании, вероятно, не привыкли общаться с пациентами в текстовом чате, и это могло повлиять на их работу.
LLM, напротив, обладает несправедливым преимуществом — способностью быстро составлять длинные и красиво структурированные ответы, что позволяет ему быть постоянно внимательным и не уставать.
Следующим важным шагом ученых станет проведение более детальных исследований, чтобы оценить возможные предубеждения и убедиться в справедливости системы для различных групп населения. Команда Google также начинает изучать этические требования для тестирования системы на людях с реальными медицинскими проблемами.
Подписывайтесь на EverCare в социальных сетях: