В 2023 году RSNA устроило настоящий марафон для искусственного интеллекта — AI Challenge по скрининговой маммографии. Задача? Научить алгоритмы находить рак груди на рентгеновских снимках с высокой точностью, но без излишних ложных тревог.
Результаты опубликовали в журнале «Radiology». Авторы исследования под руководством Ян Чен (Yan Chen) — научного сотрудника по скринингу рака в Ноттингемском университете (University of Nottingham, UK) — разбирали, что же показали почти полторы тысячи (!) алгоритмов, присланных со всего света.
«Честно говоря, мы были поражены количеством участников и качеством их решений», призналась Чен. «Учитывая, что на разработку был довольно короткий срок, а данные для обучения приходилось искать в открытых источниках, результат впечатляет».
Как это было
Для тренировки Эморский университет (Emory University, USA) и BreastScreen Victoria (Australia)предоставили набор из примерно 11 тысяч маммограмм. А участники могли дополнительно искать открытые изображения для дообучения своих моделей.
Чтобы проверить способности ИИ, организаторы подготовили тестовую коллекцию из 10 830 снимков (по одному на грудь) — полностью «чистую» от тренировочных данных и с диагнозами, подтверждёнными патоморфологами.
Что показали алгоритмы
- 98,7 % специфичности — почти безошибочно определяли отсутствие рака.
- 27,6 % чувствительности — распознавали чуть больше четверти реальных случаев.
- 1,7 % recall rate — доля случаев, которые ИИ отмечал как положительные.
Но магия случилась, когда исследователи начали «смешивать» лучшие модели:
- топ-3 в ансамбле дали уже 60,7 % чувствительности;
- топ-10 — 67,8 %, что близко к уровню среднего скринингового радиолога в Европе или Австралии.
«Мы не ожидали, что разные алгоритмы будут так дополнять друг друга», рассказала Чен. «Они реагировали на разные типы опухолей — то, что у одного модель видела, у другого могло пройти мимо».
Интересные нюансы
- ИИ лучше справлялся с инвазивными опухолями, чем с неинвазивными.
- На качество влияли тип рака, производитель оборудования и клиника, где делали снимки.
- Многие участники выложили свои алгоритмы в открытый доступ, а значит, это топливо для будущих исследований и коммерческих решений.
Что дальше
Команда Чен собирается:
- сравнить топовые алгоритмы с уже существующими коммерческими ИИ-системами на больших и разнообразных наборах данных;
- протестировать их на компактных, но сложных выборках, вроде тех, что используют в британской программе PERFORMS для оценки квалификации радиологов.
Кстати, RSNA устраивает такие конкурсы ежегодно. В этом году ищут модели для обнаружения и локализации внутричерепных аневризм. Так что битва интеллектов продолжается.
Литература:
Performance of Algorithms Submitted in the 2023 RSNA Screening Mammography Breast Cancer Detection AI Challenge, Radiology (2025).