✔️ Исследователи сравнили специализированные медицинские AI-сервисы с обычными frontier-моделями вроде GPT-5.2, Claude Opus 4.6 и Gemini 3.1 Pro.
Результат оказался неприятным для clinical AI: специализированные инструменты проиграли во всех тестах.
Проверка шла в три этапа:
500 вопросов MedQA, 500 заданий HealthBench на соответствие ожиданиям врачей и 100 реальных клинических запросов.
Ответы оценивали 12 врачей из США в слепом рандомизированном ревью. Всего получилось 1800 экспертных аннотаций.
Frontier-модели обошли медицинские AI-инструменты на всех этапах. По оценкам исследования, у clinical AI были на 49–87% ниже шансы получить более высокий рейтинг, чем Gemini.
Отдельный удар пришёлся по RAG. Авторы пишут, что retrieval-системы в таких продуктах могут даже ухудшать ответы, когда подтягивают плохо встроенный или нерелевантный материал.
Для многих медицинских вопросов сильная общая модель с хорошим reasoning пока оказывается эффективнее.
https://www.nature.com/articles/s41591-026-04431-5
