Наглядный гайд по Gemma 4 12B
Новая модель Gemma 4 вышла, и она интересная. Между E4B и 26B A4B была пустота, и 12B-модель заняла её органично. Но это Google DeepMind — без архитектурного эксперимента не обошлось. Так в чём же особенность Gemma 4 12B? Она без энкодеров! Термин «encoder-free» может вызывать путаницу. Современные генеративные LLM и так обычно decoder-only. Речь о другом: из модели убрали энкодеры для обработки аудио и изображений. При этом мультимодальные возможности сохранились. Убрав энкодеры, которые отвечали за осмысление мультимодальных входов, Google DeepMind перенесли эту нагрузку на саму LLM. Все модальности теперь объединены внутри одной модели...