Florence-2 — это передовая мультимодальная модель языка зрения, разработанная Microsoft и представленная в июне 2024 года. Она сочетает текстовые и визуальные данные, предоставляя единое, унифицированное представление для выполнения широкого спектра задач в области компьютерного зрения и визуальной лингвистики.
Особенности и архитектура Florence-2:
1. Унифицированная архитектура
Модель использует архитектуру "seq2seq", принимая изображения и текстовые подсказки в качестве входных данных и генерируя текстовые ответы. Для обработки изображений используется визуальный энкодер DaViT (Diverse Vision Transformer), который преобразует изображения в векторы эмбеддингов. Эти эмбеддинги объединяются с текстовыми эмбеддингами, созданными на основе BERT, а затем обрабатываются многомодальной системой энкодера-декодера, основанной на трансформерах.
2. Работа с региональными задачами
Для задач, связанных с определением конкретных областей изображения, вводятся токены местоположения, которые представляют координаты в формате прямоугольников (x0, y0, x1, y1) или многоугольников (x0, y0, ..., xn, yn). Это позволяет модели эффективно решать детальные задачи и применять модели для более сложных региональных вычислений.
3. Размер и производительность
Florence-2 представлена двумя основными моделями:
- Florence-2 Base: 0.23 миллиарда параметров.
- Florence-2 Large: 0.77 миллиарда параметров.
Несмотря на небольшой размер, модель демонстрирует производительность, сопоставимую с более крупными моделями, такими как Kosmos-2, и превосходит их по результатам в задачах с нулевой настройкой (zero-shot).
Возможности Florence-2
Модель поддерживает более 10 разнообразных задач:
1. Создание кратких описаний (Caption) и детализированных подписей.
2. Выявление объектов (Object Detection) с помощью прямоугольников и меток.
3. Сегментация (Segmentation) и разбиение на области в изображении.
4. Обработка плотных регионов (Dense Region Captioning).
5. Распознавание и связывание текста (OCR, Phrase Grounding).
6. "Свободное" обнаружение объектов (Open Vocabulary Detection).
7. Предложения областей (Region Proposal).
8. Привязка выражений к областям изображения (Referring Expression Comprehension).
Florence-2 станет важным инструментом в области компьютерного зрения, предоставляя аналитические возможности для обработки изображений, решений в сфере мультимодальных задач и автоматизации сложных процессов.
Florence-2 интегрирована в услуги Microsoft, такие как Azure Cognitive Services для компьютерного зрения.
***
Друзья, сегодня вас ждут удивительные женские нейропортреты (16 фото):
Эти нейроарты созданы мною в бесплатной нейросети Recraft.
💖💖💖 Внимание, творческие личности и дизайнеры!
Представляю эксклюзивный мини-курс по Recraft - революционной нейросети для создания векторных и фотореалистичных изображений!
🎨 В курсе вы научитесь: ✅ Основам работы с Recraft ✅ Техникам создания уникальных изображений ✅ Профессиональным приемам редактирования.
❤️ Оплата по сердцу! Поддержите проект донатом: определите сами сумму, которую готовы внести за курс!
Для получения курса напишите на почту: afanasvetlana@mail.ru
💖 Ваш донат - моя мотивация делиться знаниями!
_________________________________________________
P.S. Приглашение на Мастер-Классы по изучению Топовых Нейросетей, где Вас ждут Бонусы и Подарки: