Научно-исследовательская группа Института AIRI выложила первую в России мультимодальную модель OmniFusion 1.1 в открытый доступ.

Принципиально OmniFusion 1.1 очень похож на предыдущую версию, да и в целом в области мультимодальных LLM сейчас все подходы формируются вокруг связки языковой модели и визуального энкодера через специальный обучаемый адаптер, который умеет отображать картиночные эмбеддинги в пространство текстовых эмбеддингов. :)