Вышел апдейт модели Segment Anything (SAM 2), предназначенной для сегментации объектов на изображениях и видео. Новая модель обеспечивает высокое качество сегментации, превосходя своего предшественника, и работает в шесть раз быстрее, достигая скорости 130 FPS на одной видеокарте A100.
Основные новшества SAM 2:
- Поддержка видео: Благодаря добавлению временных компонентов, таких как memory attention и memory encoder, SAM 2 может сегментировать объекты в видео в реальном времени.
- Новый датасет SA-V: Включает около 51 000 видео с более чем 600 000 размеченными масками объектов.
- Открытый доступ: Модель и ее веса доступны под лицензией Apache 2.0, что позволяет использовать SAM 2 для любых проектов и исследований.
Преимущества и возможности SAM 2:
- Единая модель для изображений и видео: Обеспечивает бесшовное использование в приложениях для обработки как изображений, так и видео.
- Высокая точность: SAM 2 обеспечивает лучшее качество сегментации по сравнению с предыдущими моделями, включая SAM 1.
- Реальное время: Модель способна обрабатывать видео в реальном времени, что открывает новые возможности для применения в самых различных областях — от создания видеоэффектов до автоматической аннотации данных.
Применение SAM 2:
С помощью SAM 2 вы можете создавать новые видеоэффекты, автоматизировать анализ данных для ускорения обучения систем компьютерного зрения, проводить анализ спутниковых изображений для оказания помощи при стихийных бедствиях, а также сегментировать клетки и выявлять заболеваний разных стадий в медицине.
Доступ к модели и датасету:
- Модель SAM 2 и ее коды: Открыты для всех под лицензией Apache 2.0.
- Датасет SA-V: Доступен под лицензией CC BY 4.0.
- Веб-демо: Позволяет попробовать возможности модели в реальном времени.
SAM 2 знаменует новый этап в развитии технологий сегментации объектов, открывая новые перспективы для исследований и практических приложений. Попробуйте SAM 2 и создайте свои уникальные решения с использованием передовых технологий сегментации!
