Google представила миниатюрную версию открытой ИИ-модели Gemma 3 с 270 млн параметров. Разработчики заявляют, что она может работать локально на смартфонах и в веб-браузерах.
В последние годы технологические гиганты фокусировались на создании все более масштабных ИИ-моделей, требующих мощных серверов с дорогостоящими графическими процессорами. Gemma 3 270M — часть противоположного подхода для локального ИИ без обмена личными данными с серверами.
Ранее в этом году Google выпустила открытые модели серии Gemma 3, содержащие от 1 до 27 млрд параметров. Параметры — это изученные переменные, которые управляют обработкой входных данных для генерации выходных токенов. Обычно чем больше параметров, тем лучше работает модель.
Несмотря на значительно меньший размер, Gemma 3 270M в тестах разработчиков демонстрирует неплохие результаты. В тестах на Pixel 9 Pro модель провела 25 разговорных сессий на мобильном чипе Tensor G4, потратив всего 0,75% заряда аккумулятора. Это делает ее самой энергоэффективной моделью в линейке Gemma.
Локальное использование ИИ обеспечивает повышенную конфиденциальность данных и минимальную задержку отклика. Пользователям не нужно отправлять личную информацию на внешние серверы, а обработка запросов происходит мгновенно, вне зависимости от качества интернет-соединения.
Google использовала бенчмарк IFEval для тестирования способности модели следовать инструкциям. Gemma 3 270M показала результат 51,2%, превзойдя более крупные легковесные модели. Хотя она уступает моделям с миллиардами параметров, таким как Llama 3.2, разрыв оказался меньше ожидаемого с учетом кратности различий в размере.
Тестирование в бенчмарке IFEval. Изображение и данные Google
Google планирует использовать новую модель для задач классификации текстов и анализа данных, которые она может выполнять быстро и без больших вычислительных затрат. Это открывает возможности для внедрения ИИ в локальные приложения для смартфонов и других устройств.
Gemma 3 270M доступна на платформах Hugging Face и Kaggle в предварительно обученной и настроенной по инструкциям версиях. Модель также можно протестировать в Google Vertex AI. Для демонстрации возможностей Google создала полностью браузерный генератор историй на базе Transformer.js, позволяющий пользователям опробовать модель без установки.
Компактная модель открывает возможности для разработчиков мобильных приложений, устройств Интернета вещей, умных колонок, а также веб-сервисов, позволяя интегрировать локальный ИИ.
Читать далее:
Физики поменяли мнение о том, как сформировалась Вселенная
В Госдуме предостерегли россиян от перехода в Google Meet, а мессенджер MAX уже атакуют мошенники
WhatsApp* и Telegram ответили на блокировки звонков в России
Иллюстрация на обложке: designed by Freepik, лицензия