🤖 IBM представила четыре компактные модели больших языковых моделей (LLM) под названием Granite 4.0 Nano, которые варьируются от 350 миллионов до 1,5 миллиардов параметров. Эти модели специально разработаны для запуска на локальных устройствах и периферийных системах, что открывает новые возможности для использования ИИ без необходимости в мощных облачных ресурсах.
Модель с 350 миллионами параметров способна эффективно работать на обычных ноутбуках с 8–16 ГБ оперативной памяти, что делает её доступной для широкого круга пользователей и разработчиков. Более крупная версия с 1,5 миллиардами параметров требует GPU с 6–8 ГБ видеопамяти или мощный CPU с достаточным объемом оперативной памяти, что позволяет использовать её в более требовательных задачах.
Все модели лицензированы под Apache 2.0, что обеспечивает открытую и свободную интеграцию в различные проекты. Они совместимы с популярными фреймворками и инструментами, такими как llama.cpp, vLLM и MLX, а также сертифицированы по международному стандарту ISO 42001, что подтверждает их качество и надежность.
Granite 4.0 Nano включает две линейки моделей: гибридные SSM (Granite-4.0-H-1B и Granite-4.0-H-350M) и трансформерные (Granite-4.0-1B и Granite-4.0-350M). По результатам тестирования, гибридная модель Granite-4.0-H-1B набирает впечатляющие 78,5 баллов в тесте IFEval, трансформерная Granite-4.0-1B занимает лидирующие позиции в BFCLv3, а по метрикам SALAD и AttaQ достигает более 90% эффективности.
В ближайших планах IBM — выпуск более масштабной версии Granite 4.0 и публикация открытых материалов, что позволит сообществу разработчиков и исследователей глубже изучить и использовать эти модели.
Следите за новостями и будьте в курсе последних достижений в области искусственного интеллекта вместе с IBM!
#IBM #Granite4Nano #ИИ #БольшиеЯзыковыеМодели #AI #MachineLearning #OpenSource #Технологии #Инновации
