24 подписчика

Raspberry Pi AI HAT+ 2: Мощный модуль для генеративного ИИ

16 января16 янв

1 мин

Raspberry Pi представила обновленный модуль AI HAT+ 2, созданный для эффективного запуска генеративных моделей машинного обучения, таких как DeepSeek, Qwen и LLaMA. Год назад компания выпустила AI HAT+ на базе Hailo-8 и Hailo-8L, предназначенную для ускорения распознавания объектов. Это позволило пользователям локально запускать небольшие модели, снижая зависимость от облачных сервисов и обеспечивая конфиденциальность данных. Однако, первоначальная версия имела ограничения в работе с генеративными моделями. Новая плата AI HAT+ 2 оснащена ИИ-ускорителем Hailo-10H (40 TOPS) и 8 ГБ оперативной памяти, что позволяет ей эффективно обрабатывать LLM, VLM и другие генеративные модели. На данный момент доступны адаптированные версии DeepSeek-R1-Distill, Qwen2.5-Coder, Qwen2.5-Instruct, Qwen2 и Llama3.2 (до 1,5 млрд параметров). В будущем планируется поддержка более крупных и новых оптимизированных моделей, а также возможность запуска пользовательских моделей. Стоимость модуля Raspberry Pi AI HA

Raspberry Pi представила обновленный модуль AI HAT+ 2, созданный для эффективного запуска генеративных моделей машинного обучения, таких как DeepSeek, Qwen и LLaMA.

Год назад компания выпустила AI HAT+ на базе Hailo-8 и Hailo-8L, предназначенную для ускорения распознавания объектов. Это позволило пользователям локально запускать небольшие модели, снижая зависимость от облачных сервисов и обеспечивая конфиденциальность данных. Однако, первоначальная версия имела ограничения в работе с генеративными моделями.

Новая плата AI HAT+ 2 оснащена ИИ-ускорителем Hailo-10H (40 TOPS) и 8 ГБ оперативной памяти, что позволяет ей эффективно обрабатывать LLM, VLM и другие генеративные модели.

На данный момент доступны адаптированные версии DeepSeek-R1-Distill, Qwen2.5-Coder, Qwen2.5-Instruct, Qwen2 и Llama3.2 (до 1,5 млрд параметров). В будущем планируется поддержка более крупных и новых оптимизированных моделей, а также возможность запуска пользовательских моделей.

Стоимость модуля Raspberry Pi AI HAT+ 2 в официальном магазине составляет 130 долларов. В репозитории Hailo доступны примеры, демо-версии и фреймворки для разработки приложений. Документация и дополнительное программное обеспечение находятся в разделе для разработчиков.

Ну что ж, теперь каждый сможет почувствовать себя гением машинного обучения, не выходя из дома. Главное, не забудьте, что даже самый мощный AI HAT+ 2 не заменит вам чашку кофе и немного вдохновения.