202 тыс подписчиков
Распознавание с умом: в России разработана первая мультимодальная модель ИИ
Как сообщили Forbes в научно-исследовательском Институте искусственного интеллекта AIRI, OmniFusion — мультимодальная модель ИИ, предназначенная для расширения возможностей традиционных систем обработки языка за счет интеграции дополнительных модальностей данных: например, изображений, а в перспективе — аудио, 3D- и видеоконтента. Ее обучением занимается научная группа FusionBrain Института AIRI при участии ученых из Sber AI и SberDevices.
Мультимодальные модели открывают новые возможности для анализа информации и выводов, но для обучения и корректной работы продуктов на их основе нужен гигантский объем качественно размещенного контента, предупреждают аналитики.
Такие модели могут найти свое применение в ретейле, контент-мейкинге, дизайне, на маркетплейсах для оптимизации рутины, размышляет руководитель направления Data Science в «Битрикс24» Александр Сербул. «Или, предположим, пользователь говорит: «Дай мне текст из этого образа». Далее текст добавляют в базу данных и по нему ищут, например, роликовые коньки. И она тебе отдает все эти картинки, которые последний раз появлялись», — приводит пример эксперт.
📸: Getty Images
1 минута
10 апреля