📱Маленькие, да удаленькие: SmolVLM меняет представление о компактных мультимодальных моделях

Современные мультимодальные модели, которые могут одновременно воспринимать текст, изображения и видео, сегодня поражают воображение возможностями. Но у таких гигантов, как GPT-4V или Flamingo, есть серьезный недостаток: их требования к вычислительным ресурсам столь велики, что о запуске на обычных устройствах — смартфонах или планшетах — не может идти и речи.

Но недавно исследователи из Hugging Face и Стэнфордского университета показали, что высокие показатели можно получить и при очень скромных размерах модели. Их новая разработка SmolVLM доказывает, что модель с параметрами от 256 миллионов до 2,2 миллиардов может успешно конкурировать с «монстрами» на 80 миллиардов параметров, потребляя при этом минимальный объём GPU-памяти (менее 1 ГБ у самой компактной версии).

🔍 Как устроен SmolVLM?

Архитектура SmolVLM объединяет несколько инновационных подходов:

🧩 Пиксельное перемешивание (Pixel Shuffle)
Разработчики использовали метод, ранее применявшийся в задачах сверхвысокого разрешения, чтобы снизить количество визуальных токенов без значительной потери деталей изображения. Это дало модели возможность значительно экономить вычислительные ресурсы, сохраняя при этом высокое качество распознавания.

📐 Гибкое масштабирование контекста
Модели SmolVLM способны обрабатывать контексты до 16 тысяч токенов, что позволяет эффективно работать с изображениями высокого разрешения и видео, не теряя важных деталей и смысловой нагрузки.

🎞️ Оптимизация обработки видео
Исследователи выяснили, что агрессивное усреднение кадров видео ухудшает результаты модели, поэтому отказались от этого подхода. Вместо этого они применили адаптивное масштабирование кадров до оптимального разрешения, сохранив качество анализа динамических сцен.

⚙️ Обучение и токенизация
Важной частью успеха стали специальные токены позиций и структурированные текстовые промпты, которые значительно повысили стабильность и эффективность обучения модели, особенно на задачах, связанных с распознаванием текста (OCR).

🎯 Ключевые выводы исследования

Исследователи пришли к нескольким неожиданным результатам:

• ⚖️ Баланс важнее размера
  Умеренное распределение ресурсов между визуальным и языковым блоками модели оказалось важнее слепого увеличения параметров. Маленький визуальный энкодер лучше подходит компактным языковым моделям.
• 📉 Осторожно с цепочками рассуждений (Chain-of-Thought - CoT)
  Внедрение большого количества данных, включающих цепочки рассуждений (CoT), перегружает малые модели и снижает их эффективность. Минимальная доля CoT данных улучшает результаты, но избыток их ухудшает.
• 📚 Не все текстовые данные полезны
  Повторное использование текстовых данных из обучения крупных языковых моделей (LLM) может снизить эффективность мультимодальных моделей из-за недостаточной разнообразности и сложности.

Сравнение вариантов модели SmolVLM по бенчмаркам задач визуально-языкового понимания. Источник: https://arxiv.org/pdf/2504.05299

📱 SmolVLM на мобильных устройствах

Исследователи не только разработали компактные модели, но и представили мобильное приложение HuggingSnap, позволяющее запускать SmolVLM прямо на смартфоне. Даже самая большая версия модели (2,2B параметров) способна работать на мощных ноутбуках, а компактная версия (256M) демонстрирует отличную скорость даже на обычных смартфонах и планшетах.

🔥 Реальные применения

Уже сейчас SmolVLM начали использовать в практических приложениях:

• 📑 Smol Docling – модель для эффективного анализа документов с минимальным использованием ресурсов.
• 🏥 BioVQA – биомедицинская мультимодальная модель для визуального ответа на вопросы, способная работать в условиях ограниченных ресурсов медицинских учреждений.

🌟 Мнение автора

Разработка SmolVLM подчёркивает ключевую тенденцию в современной AI-индустрии: не всегда мощь напрямую связана с размером. Гораздо важнее грамотный выбор архитектуры и тонкое понимание задач, которые нужно решать. Уменьшение размера модели при сохранении высокой производительности — это большой шаг вперёд не только для мобильных устройств, но и для экологии, поскольку компактные модели значительно экономичнее с точки зрения энергопотребления.

Разработка SmolVLM показывает, что будущее принадлежит не гигантским моделям-монстрам, а умным и компактным решениям, способным эффективно и экологично использовать ограниченные ресурсы.

🔗 Ссылки:

• Оригинальная новость: SmolVLM: Redefining small and efficient multimodal models
• GitHub проекта: github.com/huggingface/smolvlm
• Модели на Hugging Face : https://huggingface.co/papers/2504.05299