архитектуре Gemma 4. Особенность модели в том, что она генерирует сразу по 256 токенов за один шаг. Поскольку при такой пакетной генерации возникает некоторая несогласованность, эти токены проходят через несколько итераций пересчёта. По сути, это похоже на пошаговую генерацию изображений в диффузионных моделях: каждый следующий проход уточняет и "выравнивает" результат предыдущего, постепенно улучшая общее качество вывода. веса Telegram: @Age_of_it
Google представили DiffusionGemma — модель с 26 миллиардами параметров (из которых активно используются 4 миллиарда), построенную на архитектуре Gemma 4. Особенность модели в том, что она генерирует сразу по 256 токенов за один шаг.
Поскольку при такой пакетной генерации возникает некоторая несогласованность, эти токены проходят через несколько итераций пересчёта. По сути, это похоже на пошаговую генерацию изображений в диффузионных моделях: каждый следующий проход уточняет и "выравнивает" результат предыдущего, постепенно улучшая общее качество вывода.
Telegram: @Age_of_it
