Компания Nomic сделала значительный шаг вперед в области поиска произведений искусства, представив новые модели эмбеддингов, которые позволяют выполнять семантический поиск по изображениям и текстам. Теперь можно искать картины по запросам вроде "масло на холсте с цветами и собаками" в рамках конкретной коллекции — Метрополитен-музея, состоящей из 250 000 произведений.
Nomic запустил две новые версии моделей — Nomic Embed Vision v1 и v1.5. Эти модели преобразуют изображения и текст в единое цифровое пространство, что позволяет эффективно искать и анализировать данные по изображению и тексту одновременно.
Модели Nomic Embed Vision включают два ключевых компонента:
- Vision Encoder: 92 миллиона параметров.
- Text Encoder: 137 миллионов параметров.
Обучение моделей проходило на 1.5 миллиарда пар изображений и текстов, используя 16 мощных GPU. Это позволило достичь выдающихся результатов на бенчмарках, таких как Imagenet 0-Shot и Datacomp, обойдя по производительности существующие решения, такие как OpenAI CLIP.
Модели Nomic Embed Vision доступны под лицензией CC-BY-NC-4.0, что позволяет исследователям и разработчикам продолжать эксперименты. Вы также можете использовать Nomic Embed через AWS Marketplace или API для интеграции в свои проекты. Для получения дополнительной информации и доступа к моделям, посетите Nomic Embed API.
Nomic сделал важный шаг в развитии мультимодального поиска, предоставляя новые возможности для работы с произведениями искусства в рамках конкретной коллекции. Это открывает новые горизонты для поиска и анализа данных в области искусства.
______________________________________
Всех, кто интересуется последними новинками из мира AI призываем подписываться на наш канал. А тех, кто уже сейчас хочет попробовать себя в роли нейрокреатора, приглашаем на наш сайт.