Raspberry Pi представила новый модуль AI HAT+ 2. Он значительно улучшает нейронное ускорение и добавляет поддержку памяти. Это расширяет возможности генеративного искусственного интеллекта на Raspberry Pi 5.
Новый продукт базируется на предыдущих версиях AI HAT и AI HAT+. Он оснащен мощным ускорителем для нейронных сетей и улучшенной системной интеграцией. Это позволяет решать задачи, выходящие за пределы традиционного компьютерного зрения.
Архитектура и возможности AI HAT+ 2
Raspberry Pi AI HAT+ 2 — это обновленная версия с ускорителем нейронных сетей Hailo-10H. Он устанавливается на полноразмерную плату HAT+, совместимую с Raspberry Pi 5.
Hailo-10H предлагает высокую производительность: до 40 тераопераций в секунду в режиме логического вывода INT8. Это значительно превосходит модели на базе Hailo-8, которые могут достигать только до 26 тераопераций в секунду. Благодаря этой мощности, AI HAT+ 2 идеально подходит для сложных моделей, таких как трансформеры и диффузионные модели, требующих высокой пропускной способности.
Ускоритель подключается к Raspberry Pi 5 через PCIe Gen 2 x1. Это обеспечивает быструю передачу данных и снижает задержки, в отличие от USB-ускорителей. Плата также оснащена встроенной системой питания, которая поддерживает высокие нагрузки, соответствующие энергопотреблению Raspberry Pi 5.
Hailo-10H отличается от предыдущих моделей увеличенным объемом встроенной памяти и более гибкой системой планирования потоков данных. Это позволяет сохранять части крупных моделей в ускорителе при выполнении логических операций. Плата HAT оснащена 8 ГБ памяти, что, по данным Raspberry Pi, позволяет работать с большими языковыми моделями и моделями с векторной памятью, имеющими до шести миллиардов параметров.
Как и предыдущие платы, Hailo-10H механически совместима со стандартными корпусами Raspberry Pi и системами охлаждения. В комплект поставки входит дополнительный радиатор, который устанавливается поверх платы. Для длительной работы с высокой нагрузкой Raspberry Pi рекомендует использовать активный кулер.
Программное обеспечение AI HAT+ 2 поддерживает операционную систему Raspberry Pi OS и интегрируется с программным стеком Hailo. В него входят инструменты для компиляции моделей и библиотеки времени выполнения.
Ускорение на периферии для генеративного искусственного интеллекта
Генеративные модели искусственного интеллекта существенно отличаются от традиционных систем логического вывода как по своей структуре, так и по ресурсным требованиям. Они часто основаны на архитектурах трансформеров, использующих многократное матричное умножение, механизмы внимания и многочисленные параметры. В отличие от фиксированных конвейеров компьютерного зрения, генеративные модели требуют итеративной обработки одних и тех же данных. Поэтому важны локальность памяти и эффективное планирование.
В системах с ограниченными ресурсами центральные процессоры общего назначения не могут обеспечить приемлемую производительность для генеративных операций при разумных энергозатратах. Специализированные нейронные ускорители решают эту проблему, используя параллельные вычислительные массивы, оптимизированные для операций с низкой точностью, обычно 8 бит или смешанной. Они также применяют тесно связанную память и детерминированный поток данных, что снижает количество обращений к внешней памяти, уменьшая энергопотребление и задержку.
При периферийном развертывании еще одним ограничением является гибкость. Модели должны быть квантованы и скомпилированы в соответствии с моделью выполнения ускорителя без снижения качества выходных данных ниже допустимых пределов. Это предъявляет повышенные требования к зрелости компиляторов и поддержке набора инструментов, особенно для быстро развивающихся генеративных рабочих нагрузок.
Новые классы приложений для Raspberry Pi
С появлением AI HAT+ 2 Raspberry Pi получила возможность поддерживать приложения, ранее недоступные для этой платформы. Теперь можно использовать локальную генерацию текста, предварительную обработку речи для преобразования в текст, создание субтитров к изображениям и разработку мультимодальных голосовых помощников. Эти функции работают, если модели выполняются с приемлемой задержкой на устройстве. Разработчики получили новые возможности, включая создание систем, обеспечивающих конфиденциальность и работающих автономно, без постоянного доступа к облаку.
Плата AI HAT+ 2 доступна у официальных реселлеров Raspberry Pi.