Raspberry Pi 5, подключенный ко внешней видеокарте GPU на базе AMD Radeon, был продемонстрирован с использованием графического оборудования для ускорения работы Large Language Model (LLM). За этим экспериментом стоит энтузиаст Pi Джефф Гирлинг, и в видео ниже он рассказывает о своем опыте применения поддержки API Vulkan для использования локального ИИ с ускорением на GPU на Raspberry Pi 5.
В последнем сообщении о работе Raspberry Pi 5, подключенного к eGPU, подчеркивались современные игровые возможности для AAA-проектов в режиме 4K. Такие игры, как Doom Eternal, Crysis Remastered, Red Dead Redemption 2 и Forza Horizon 4, были продемонстрированы в таком разрешении.
Гирлинг закончил свое познавательное видео в прошлый раз обновлением поддержки LLM в Pi 5. Он отметил, что ему не удалось ускорить графическим процессором ни одной модели LLM на Pi 5, но модели меньшего размера могли работать на CPU, в оперативной памяти Pi. Более того, поскольку AMD фактически исключила поддержку ROCm на Arm, перспективы выглядели не очень хорошо.
К счастью, в мире технологий, ориентированных на энтузиастов, все может быстро измениться. В своем последнем видео Герлинг раскрывает ответ на ускорение GPU LLM на Pi 5, используя API Vulkan с экспериментальным патчем.
Примерно через две минуты видео Герлинг знакомит нас со своей аппаратной системой. Самое интересное - это использование двух плат для подключения GPU к Pi. Он использовал адаптер для преобразования разъема PCIe Express FFC Pi в слот M.2. В слот M.2 он подключил адаптер M.2 на OCuLink с кабелем к переходнику GPU OCuLink. В видео он снова использует видеокарту RX 6700 XT.
Настройка программного обеспечения в настоящее время немного сложнее и требует от пользователя компиляции собственного ядра Linux, сбора нескольких драйверов и патчей и многого другого. Дополнительные инструкции доступны в блоге Geerling.
Проливая больше света на преимущества своего аппаратного и программного обеспечения, энтузиаст компьютеров Pi приводит некоторые показатели производительности и сравнения.
Интересно услышать, что Geerling предлагает Pi с внешним графическим процессором в качестве альтернативы, которая почти так же быстра и эффективна, как Mac Studio M1 Max (64 ГБ). Он также подчеркнул, что стоимость всего этого устройства составляет около 700 долларов, но будет намного дешевле, если у пользователя уже есть некоторые детали.
Добавление теста RTX 4090 на втором слайде выше показывает, какую производительность LLM может обеспечить мощный современный ПК. Но для домашнего использования автономного ИИ 40-60 T/s должно быть достаточно.