3 подписчика

MedGemma 1.5 и MedASR — обновление открытых медицинских моделей Google

14 января14 янв

1 мин

Google Research выпустила обновление коллекции MedGemma в рамках программы Health AI Developer Foundations (HAI-DEF). Что выпущено: • MedGemma 1.5 4B — обновлённая мультимодальная модель • MedASR — модель автоматического распознавания медицинской речи • Обновления MedSigLIP (image encoder) • MedGemma Impact Challenge на Kaggle MedGemma 1.5 4B: • Поддержка высокоразмерных медицинских данных: – CT (3D тома) – MRI – Whole-slide гистопатология • Поддержка: – продольных серий CXR – анатомической локализации – интерпретации медицинских изображений – извлечения структурированных данных из лабораторных отчётов • Улучшения текстовых задач и работы с медицинскими записями • Размер модели: 4B параметров • Возможность локального запуска • Доступна на Hugging Face и Vertex AI Бенчмарки MedGemma 1.5 4B (по сравнению с MedGemma 1 4B): • CT классификация: 61% vs 58% • MRI классификация: 65% vs 51% • Гистопатология (ROUGE-L): 0.49 vs 0.02 • Анатомическая локализация (Chest ImaGenome, IoU): 38% vs 3%

Google Research выпустила обновление коллекции MedGemma в рамках программы Health AI Developer Foundations (HAI-DEF).

Что выпущено: • MedGemma 1.5 4B — обновлённая мультимодальная модель • MedASR — модель автоматического распознавания медицинской речи • Обновления MedSigLIP (image encoder) • MedGemma Impact Challenge на Kaggle

MedGemma 1.5 4B: • Поддержка высокоразмерных медицинских данных: – CT (3D тома) – MRI – Whole-slide гистопатология

• Поддержка: – продольных серий CXR – анатомической локализации – интерпретации медицинских изображений – извлечения структурированных данных из лабораторных отчётов • Улучшения текстовых задач и работы с медицинскими записями • Размер модели: 4B параметров • Возможность локального запуска • Доступна на Hugging Face и Vertex AI

Бенчмарки MedGemma 1.5 4B (по сравнению с MedGemma 1 4B): • CT классификация: 61% vs 58% • MRI классификация: 65% vs 51% • Гистопатология (ROUGE-L): 0.49 vs 0.02 • Анатомическая локализация (Chest ImaGenome, IoU): 38% vs 3% • Продольные CXR (MS-CXR-T): 66% vs 61% • Медицинская интерпретация изображений: 62% vs 59% • Извлечение данных из лабораторных отчётов (macro F1): 78% vs 60% • MedQA: 69% vs 64% • EHRQA: 90% vs 68%

MedASR: • Открытая ASR-модель, дообученная на медицинской диктовке • Используется для медицинской речи и голосовых промптов • Сравнение с Whisper large-v3: – Chest X-ray диктовка: WER 5.2% vs 12.5% – Внутренний медицинский датасет: WER 5.2% vs 28.2% • Доступна на Hugging Face и Vertex AI

Дополнительно: • Полная поддержка DICOM при деплое в Google Cloud • Все модели доступны для исследовательского и коммерческого использования • Обучение и оценка выполнены на де-идентифицированных публичных и частных датасетах

Ссылки: • Hugging Face: https://huggingface.co/collections/google/medgemma-release

• Блог Google Research: https://research.google/blog/next-generation-medical-image-interpretation-with-medgemma-15-and-medical-speech-to-text-with-medasr/

#AI #Healthcare #MedGemma #MedASR #GoogleResearch #OpenModels #MedicalAI