✨ Архитектура JEPA от Meta превосходит стандартные методы ИИ в анализе кардиологических ультразвуков
Исследователи разработали модель ИИ для кардиологического ультразвука на основе архитектуры JEPA от Meta, которая превосходит распространенные методы, такие как маскированные автоэнкодеры и контрастивное обучение.
Международная команда из Университета Торонто, Института Вектора и Университета Чикаго утверждает, что их модель EchoJEPA, обученная на 18 миллионах ультразвуковых видео от 300 000 пациентов, показывает лучшие результаты в сравнении с традиционными подходами.
Стандартные методы, такие как маскированные автоэнкодеры, скрывают части изображения и заставляют модель восстанавливать недостающие пиксели. JEPA использует другой подход: вместо восстановления пикселей она предсказывает абстрактное представление скрытой области.
Изображения ультразвука полны шума, что затрудняет анализ. JEPA, по словам исследователей, сосредоточена на временно стабильных структурах, таких как камеры сердца и движение стенок.
В контролируемом сравнении модели JEPA и модели восстановления пикселей с одинаковыми данными и вычислительными ресурсами, JEPA показала на 27 процентов лучшие результаты в оценке функции насосной деятельности сердца.
Для классификации ультразвуковых изображений модель достигла 79 процентов точности при использовании всего одного процента размеченных данных, в то время как лучший альтернативный метод показал лишь 42 процента с полными размеченными данными.
Хотя результаты основаны на собственных бенчмарках исследователей, методологическое сравнение с идентичной архитектурой и данными является обоснованным и предоставляет более чем анекдотические доказательства.
Тем не менее, остается открытым вопрос, будет ли этот подход эффективен в других областях или кардиологический ультразвук с его высоким уровнем шума является особенно благоприятным случаем.
@aichangelogs • @modelping • @modelping
