Новая ИИ-модель Google ускоряет генерацию текста в 4 раза

Google выпустила экспериментальную модель искусственного интеллекта DiffusionGemma, в которой при генерации текста используется принципиально иной подход по сравнению с моделями, на которых работает большинство современных чат-ботов.3DNews
Google DiffusionGemma имеет архитектуру «смеси экспертов» (Mixture-of-Experts), то есть при размере 26 млрд параметров одновременно активными остаются лишь 3,8 млрд; для работы модели требуются около 18 Гбайт видеопамяти.3DNews
По данным Google, модель способна генерировать более 1000 токенов в секунду на графическом ускорителе NVIDIA H100 и свыше 700 токенов в секунду на потребительской видеокарте NVIDIA GeForce RTX 5090.Новая Наука
Например, для работы приложений ИИ в реальном времени, для встроенных помощников по написанию текста или кода и других быстрых итеративных рабочих процессов.3DNews
Источники:
Добавить в корзинуПозвонить