Компания AMD запустила новый открытый проект под названием GAIA, который предлагает пользователям возможность запускать локальные модели генеративного ИИ на процессорах Ryzen с нейронными процессорами (NPU). GAIA оптимизирована для работы на Windows-PC и позволяет эффективно обрабатывать данные, сохраняя их безопасность и конфиденциальность. Используя интеграцию с NPU и интегрированным графическим процессором (iGPU), GAIA предлагает пользователям возможность без труда работать с большими языковыми моделями (LLM), такими как Llama и Phi, для выполнения множества задач, включая ответы на вопросы и резюмирование информации.
Пользователи могут начать работать с GAIA менее чем за 10 минут, следуя простым инструкциям по установке. Существует две версии этих инструментов: обычный установщик, работающий на любом Windows ПК, и оптимизированный гибридный установщик, который обеспечивает лучшую производительность на компьютерах Ryzen AI благодаря использованию NPU и iGPU.
Одной из выдающихся функций GAIA является ее агентская система Retrieval-Augmented Generation (RAG), которая сочетает ЛЛМ с базами знаний. Это позволяет агентам более точно отвечать на запросы пользователей и проводить более сложные операции, такие как планирование и использование внешних инструментов. Среди уже доступных агентов есть Chaty — чат-бот, который общается с пользователем, и Joker — генератор шуток, который использует технологии RAG для развлечения.
GAIA состоит из трех ключевых компонентов, включая LLM Connector, который соединяет веб-API NPU с RAG-потоком на основе LlamaIndex, а также сервер агентов, который связывает интерфейс пользователя с системой. Все эти компоненты работают в унисон благодаря программному обеспечению Lemonade SDK от TurnkeyML, которое облегчает выполнение задач, связанных с LLM, и обеспечивает доступ к различным аппаратным платформам.