Корейские исследователи из Института электроники и телекоммуникаций (ETRI) представили технологию, объединяющую искусственный интеллект и визуальное восприятие для создания изображений по текстовому вводу всего за 2 секунды. Это значительный шаг вперед в области сверхбыстрой генерации визуальной информации.
Институт выпустил пять моделей, включая три модели «KOALA», способные генерировать изображения из текста в пять раз быстрее, чем существующие методы. Также представлены две модели разговорного визуально-языкового взаимодействия «Ko-LLaVA» с возможностью ответов на вопросы с использованием изображений или видео.
Модель «KOALA» существенно сократила количество параметров, используя технику дистилляции знаний, улучшив скорость генерации изображений в высоком разрешении в два раза по сравнению с предыдущими методами и в пять раз по сравнению с DALL-E 3.
ETRI успешно уменьшил размер моделей (1.7 млрд (Large), 1 млрд (Base), 700 млн (Small)) и увеличил скорость генерации до 2 секунд, что позволяет использовать их на недорогих GPU с 8 ГБ памяти. Это значимо в конкурентной среде генерации текста в изображение.
На практике KOALA 700M, создавая изображение по запросу «фото астронавта, читающего книгу под луной на Марсе», показал результат всего за 1.6 секунды, превзойдя по скорости Kallo от Kakao Brain (3.8 сек), DALL-E 2 от OpenAI (12.3 сек) и DALL-E 3 (13.7 сек).
Ученые планируют расширить исследования, улучшив понимание корейского языка и добавив уникальные возможности интерпретации видео на основе модели LLaVA, которая становится альтернативой мультимодальным моделям с изображениями.