AMD опубликовала для владельцев современных видеокарт Radeon и компьютеров Ryzen AI инструкцию о том, как запустить собственного локального чат-бота. Компания рекомендует для этого стороннее программное обеспечение LM Studio. Исходя из информации, доступной на сайте программы, можно сделать вывод, что это не открытый проект. На момент написания программа бесплатна для персонального использования и, как утверждают авторы, не собирает данные о действиях пользователя.
Источник изображения: Mateus Durães dos Santos, Unsplash
Для компьютеров Ryzen AI подойдёт текущая стабильная версия LM Studio, а для ускорения моделей на видеокартах Radeon потребуется предварительная версия с поддержкой ROCm. На странице загрузки последней больше информации о поддерживаемых видеокартах, перечисляются кодовые обозначения gfx1030, gfx1100, gfx1101 и gfx1102, которые должны относиться к видеокартам на базе графических процессоров Navi 21, 31, 32 и 33 соответственно.
После скачивания и установки необходимой версии LM Studio остаётся загрузить интересующие языковые модели с хорошо известной платформы Hugging Face, сделать это можно через интерфейс LM Studio. После загрузки моделей на компьютерах Ryzen AI можно переходить к общению с чат ботом, достаточно выбрать модель и дождаться её загрузки в память.
Источник изображения: AMD Community
Если необходимо задействовать для ускорения видеокарту, потребуется выполнить несколько дополнительных шагов: в настройках необходимо установить для параметра GPU Offload значение Max, проверить блок Detected GPU Type, где должно отображаться AMD ROCm. Подробная инструкция на английском языке приводится в блоге AMD Community.
В прошлом месяце NVIDIA представила демо-версию Chat with RTX — комплект программного обеспечения для развёртывания локального чат-бота. В состав комплекта входит несколько языковых моделей, оптимизированных для ускорения на видеокартах NVIDIA. Взаимодействие с чат-ботом осуществляется через веб-интерфейс, есть три режима: простое общение, анализ локальных документов, анализ YouTube видео (субтитров).