MLLM: что это такое и чем отличается от “обычного” LLM

MLLM: что это такое и чем отличается от “обычного” LLM

Если вы уже привыкли к LLM (типа ChatGPT), то MLLM — это следующий шаг: модель, которая понимает не только текст, но и несколько типов данных сразу.

MLLM (Multimodal Large Language Model) — это “большая языковая модель”, которая умеет работать с разными модальностями:

✅ текст

✅ изображения (фото/скриншоты/документы)

✅ иногда аудио/видео (в зависимости от реализации)

В чём разница между LLM и MLLM

1) Входные данные

• LLM: понимает только текст.

Пример: “Составь договор”, “Объясни ошибку в коде”.

• MLLM: понимает текст + картинку (и иногда аудио).

Пример: “Вот скрин 1С/Bitrix/Telegram — что тут не так и что нажать?”

2) Что модель “видит”

• LLM не может “посмотреть” на фото, PDF-скан или скрин — если не превратить это в текст заранее (OCR/распознавание).

• MLLM может сразу анализировать изображение, понимать структуру (таблица, форма, чек, паспорт, схема), находить нужные поля, сравнивать версии.

3) Тип задач

LLM — это про:

• тексты, переписку, инструкции, код, аналитика по данным в текстовом виде.

MLLM — это про:

• “понимание реального мира” через изображения: документы, интерфейсы, фотографии, диаграммы.

Самые понятные примеры, где MLLM реально решает

1) Документы и сканы

Фото счета/акта/накладной → модель вытаскивает реквизиты, суммы, даты, НДС, позиции.

2) Скриншоты ошибок и интерфейсов

Скрин из 1С/Bitrix/сайта/логов → модель объясняет, что означает ошибка и куда идти в настройках.

Почему сейчас все про это говорят

Потому что большинство информации в компаниях живёт не в “идеальном тексте”, а в:

📸 скриншотах, PDF, сканах, фотках, презентациях, таблицах, интерфейсах.

MLLM позволяет автоматизировать самую грязную и дорогую часть — “прочитать глазами и понять”.

3) Сравнение “что изменилось”

Две версии КП/таблицы/макета (в виде картинок) → найти отличия и объяснить.

4) “Что на фото?” для бизнеса

Проверка витрины/склада/упаковки товара по фото → чек-лист нарушений и рекомендации.