Исследователи из Массачусетского технологического института разработали новую структуру для медицинского ИИ, которая заставляет алгоритм сигнализировать о собственной неуверенности и запрашивать дополнительные данные вместо того, чтобы выдавать ошибочные диагнозы с излишней самоуверенностью. Работа опубликована в BMJ Health and Care Informatics.
В чём проблема нынешних ИИ-систем?
Современные системы ИИ в медицине часто вводят врачей в заблуждение, выдавая ошибочные решения с высокой степенью уверенности. Они выступают как «безошибочные оракулы», что может приводить к неверной диагностике и лечению.
Что предлагают учёные?
Создать «скромный» ИИ, который:
- Оценивает собственную уверенность в диагнозе.
- Если уверенность превышает достоверность данных, приостанавливается и запрашивает дополнительные анализы, историю болезни или консультацию специалиста.
- Выступает не вместо врача, а как наставник или «второй пилот», помогая эффективнее анализировать информацию.
Как это устроено?
Один из модулей системы использует показатель эпистемической добродетели (Epistemic Virtue Score), разработанный учёными из Мельбурнского университета. Он оценивает, насколько уверенность ИИ соответствует качеству данных.
Где уже внедряют?
Команда тестирует структуру на базе данных MIMIC (интенсивная терапия) и внедряет её в системе здравоохранения Beth Israel Lahey. Подход применим и в других областях: анализ рентгеновских снимков, выбор тактики лечения в неотложной помощи.
Какая ещё проблема остаётся?
Многие ИИ-системы обучаются на электронных медицинских картах, которые изначально не предназначены для этой задачи. В них отсутствует важный контекст для постановки диагнозов. Кроме того, пациенты из сельской местности с ограниченным доступом к медицине часто не попадают в такие наборы данных, что создаёт систематические ошибки.
Вывод: будущее медицинского ИИ — не в замене врача, а в партнёрстве. Алгоритм, который знает, когда ему не хватает данных, и запрашивает помощь, может стать действительно полезным инструментом, а не источником дополнительных рисков.