UniCorn: Кита́йские исследователи научили ИИ самокритике

Китайские исследователи представили UniCorn — своеобразный «реабилитационный курс» для мультимодальных моделей, который учит ИИ замечать собственные сбои и самостоятельно их исправлять.

Сегодня многие мультимодальные системы умеют не только понимать изображения, но и создавать их. Однако между этими двумя умениями нередко появляется неожиданная пропасть. Модель, например, может безошибочно определить: пляж расположен слева, а волны — справа, но стоит ей самой сгенерировать картинку — и стороны вдруг меняются местами, будто в зеркале.

Учёные из Университета науки и технологий Китая (USTC) и ряда других вузов называют этот странный эффект «проводниковой афазией» — аналогией с неврологическим расстройством, при котором человек понимает речь, но не может правильно её воспроизвести. UniCorn призван ликвидировать этот разрыв между пониманием и созданием.

Основная задумка UniCorn проста, почти интуитивна: если модель лучше оценивает изображение, чем генерирует его, то её способность оценивать можно использовать как рычаг, чтобы улучшить способность создавать. Исследователи разделяют одну и ту же мультимодальную модель на три роли, которые работают в едином параметрическом пространстве.

Сначала «Предложитель» формирует множество разнообразных и непростых текстовых описаний. Затем «Решатель» генерирует для каждого запроса целую серию изображений — обычно восемь вариантов с разными параметрами. И наконец, «Судья» выставляет каждому изображению оценку по шкале от 0 до 10 и подробно объясняет своё решение.

Настоящее обучение происходит на втором этапе. Все собранные взаимодействия превращаются в четыре разных формата обучения: модель учится не только генерировать удачные изображения по описанию, но и описывать собственные изображения, а также оценивать пары «текст — картинка» и исправлять слабые варианты, создавая улучшенные. Исследователи подчёркивают: все три компонента критически важны — если учить модель только генерации, её способность понимать неизбежно «проседает».

Файнтюнинг занимает около семи часов на восьми GPU Nvidia H800 — совсем немного для столь заметных улучшений. Весь процесс, что особенно примечательно, обходится без внешних датасетов.

Исследователи также создали новый тест UniCycle: он проверяет, способна ли модель восстановить ключевую информацию из собственных же сгенерированных изображений.

Процедура выглядит как цикл «текст → изображение → текст»: модель сначала создаёт картинку по описанию, затем отвечает на вопросы об этой картинке. После этого внешний проверяющий анализирует, соответствуют ли ответы исходному описанию.

В экспериментах UniCorn тестировали на базе модели BAGEL и прогоняли через шесть разных бенчмарков. Итог — стабильные и убедительные улучшения почти по всем направлениям. Конечно, это не Nano Banana Pro, но скачок производительности получился более чем заметным, что само по себе подтверждает жизнеспособность подхода.

Особенно сильный прогресс наблюдается в задачах, где требуется сложная структурная логика: точный подсчёт объектов, понимание трёхмерных пространственных отношений. UniCorn также уверенно прибавляет там, где нужны обширные знания — культурные, научные, энциклопедические.

На бенчмарке DPG, оценивающем способность создавать сложные сцены с множеством объектов и их параметров, UniCorn даже обходит GPT-4o.

Исследователи признают: у UniCorn остаются слабые места. Модель почти не улучшает результаты в заданиях с отрицаниями — к примеру, в инструкциях вроде «кровать без кота» — и по-прежнему испытывает трудности с точным подсчётом объектов.