🤖 OFFICIAL QUANTIZED VERSIONS FOR GEMMA 3 ARE OUT Квантизация стала стандартом в наши дни. Почти никто не запускает модели локально в нативных bf16 — большинство пользователей перешли на 4-битную квантизацию. Но здесь кроется проблема: модели чаще всего выпускаются в bfloat16, и разработчики не учитывают, что их могут использовать с другими настройками. Это приводит к снижению качества при локальном запуске. Дешёвая Post-training квантизация, которая не требует дополнительного обучения, серьёзно ухудшает результаты. Google поступил умнее — они дотренировали Gemma 3 с использованием quantization aware training. Это должно предотвратить потерю качества. Компания обещает, что качество будет сравнимо с bf16 моделями, но пока не предоставила результатов тестов (а было бы интересно увидеть). Подобный подход уже использовала Meta с Llama 3.2, но только для 1B и 3B версий. Google же выпустил всю линейку сразу. Остальным разработчикам открытых моделей тоже стоит задуматься о подобных релизах