MLLM: что это такое и чем отличается от “обычного” LLM
Если вы уже привыкли к LLM (типа ChatGPT), то MLLM — это следующий шаг: модель, которая понимает не только текст, но и несколько типов данных сразу.
MLLM (Multimodal Large Language Model) — это “большая языковая модель”, которая умеет работать с разными модальностями:
✅ текст
✅ изображения (фото/скриншоты/документы)
✅ иногда аудио/видео (в зависимости от реализации)
В чём разница между LLM и MLLM
1) Входные данные
• LLM: понимает только текст.
Пример: “Составь договор”, “Объясни ошибку в коде”.
• MLLM: понимает текст + картинку (и иногда аудио).
Пример: “Вот скрин 1С/Bitrix/Telegram — что тут не так и что нажать?”
2) Что модель “видит”
• LLM не может “посмотреть” на фото, PDF-скан или скрин — если не превратить это в текст заранее (OCR/распознавание).
• MLLM может сразу анализировать изображение, понимать структуру (таблица, форма, чек, паспорт, схема), находить нужные поля, сравнивать версии.
3) Тип задач
LLM — это про:
• тексты, переписку, инструкции, код, аналитика по данным в текстовом виде.
MLLM — это про:
• “понимание реального мира” через изображения: документы, интерфейсы, фотографии, диаграммы.
Самые понятные примеры, где MLLM реально решает
1) Документы и сканы
Фото счета/акта/накладной → модель вытаскивает реквизиты, суммы, даты, НДС, позиции.
2) Скриншоты ошибок и интерфейсов
Скрин из 1С/Bitrix/сайта/логов → модель объясняет, что означает ошибка и куда идти в настройках.
Почему сейчас все про это говорят
Потому что большинство информации в компаниях живёт не в “идеальном тексте”, а в:
📸 скриншотах, PDF, сканах, фотках, презентациях, таблицах, интерфейсах.
MLLM позволяет автоматизировать самую грязную и дорогую часть — “прочитать глазами и понять”.
3) Сравнение “что изменилось”
Две версии КП/таблицы/макета (в виде картинок) → найти отличия и объяснить.
4) “Что на фото?” для бизнеса
Проверка витрины/склада/упаковки товара по фото → чек-лист нарушений и рекомендации.