Ученые Университета Иннополис разработали нейросеть, способную предсказывать движение взгляда врача при анализе рентгеновских снимков. По словам исследователей, новая система может помочь в подготовке молодых рентгенологов, обучая их не только просмотру изображений, но и правильному поиску важных для постановки диагноза деталей. Результаты проекта были представлены на конференции NeurIPS, посвященной нейронным информационным системам.
Читайте: Госдума планирует ввести несколько новых запретов
Разработчики пояснили, что при изучении рентгеновских снимков врачи концентрируют внимание на разных областях изображения в зависимости от поставленной задачи. Например, при подозрении на пневмонию специалист оценивает одни зоны, а при контроле заживления переломов ребер — другие. При этом существующие диагностические нейросети нередко ориентируются на наиболее яркие или затемненные участки изображения, которые могут появляться из-за внешних факторов — например, засветки оборудования или металлических украшений пациента.
Специалисты Университета Иннополис предложили иной подход. Созданная ими модель использует не только визуальные данные, но и медицинскую информацию — анатомические особенности, диагностические описания и семантические связи. По словам одного из авторов проекта Дмитрия Львова, система объединяет зрение, язык и медицинские знания, связывая отдельные области снимка не просто с яркостью пикселей, а с их медицинским значением.
Исследователь отметил, что благодаря особому методу анализа нейросеть способна интерпретировать отдельные фрагменты изображения в понятных человеку категориях, таких как «кость», «сердце» или «затемнение». Это позволяет сделать работу алгоритма более прозрачной для специалистов.
Для обучения модели использовали несколько типов данных. В систему загрузили визуальные признаки, полученные медицинскими алгоритмами, текстовые описания диагнозов, включая «норму» и «пневмонию», а также семантические данные с примерами интерпретации изображений. В результате нейросеть научилась не только формировать тепловую карту внимания, но и предсказывать последовательность фиксации взгляда врача — координаты областей снимка и продолжительность изучения каждой зоны.
Руководитель лаборатории искусственного интеллекта Университета Иннополис Илья Першин сообщил, что новая разработка показывает примерно на пять процентов более высокую точность при выявлении пневмонии и сердечной недостаточности по сравнению с аналогичными системами. При этом разработчики подчеркивают, что главная задача проекта заключается не в создании «самостоятельного врача», а в помощи при обучении новых специалистов.
По словам Першина, технология может стать основой для медицинских симуляторов, позволяющих обучать будущих рентгенологов правильным паттернам визуального анализа снимков. Кроме того, возможность отслеживать предполагаемую траекторию взгляда делает работу искусственного интеллекта более понятной для врачей и повышает доверие к подобным системам.
Авторы проекта отметили, что для дальнейшего внедрения технологии потребуется дополнительная проверка модели в различных медицинских учреждениях. Работа над исследованием велась при поддержке Министерства экономического развития России.
Читайте также: