11,8 тыс подписчиков
В МГУ предложили новый критерий оценки медицинского ИИ
#наука_мгу
Исследователи Центра ИИ МГУ с коллегами разработали подход к оценке диагностических ответов языковых моделей, учитывающий расхождения во мнениях врачей. Метод позволяет сопоставлять предположения ИИ с заключениями нескольких специалистов, принимая во внимание степень согласия между ними, а также выявлять совпадающие по смыслу формулировки диагнозов.
Подход проверили на 360 русскоязычных диалогах с участием медицинских специалистов, актёров в роли пациентов и языковых моделей. Каждый диалог независимо оценивали семь врачей-ординаторов, а их заключения сравнивали с ответами восьми моделей. В эксперименте согласованность некоторых моделей с экспертами оказалась сопоставима с согласованностью врачей между собой.
Результаты подчёркивают важность учёта профессиональных разногласий при оценке медицинского ИИ. При этом совпадение с мнением специалистов само по себе не подтверждает правильность диагноза и безопасность применения системы в клинической практике.
Около минуты
26 октября