У AMD нет собственного инструмента, подобного NVIDIA Chat with RTX. NVIDIA разработала простой инструмент, который можно использовать для локального запуска LLM (больших языковых моделей) на базе графических процессоров GeForce.
И пусть у AMD нет такого инструмента, компания предлагает попробовать использовать стороннее программное обеспечение, работающее на процессорах и графических картах.
AMD Ryzen 7040 «Phoenix» и Ryzen 8040 «Hawk Point» оснащены ускорителем искусственного интеллекта XDNA, который может обеспечить скорость вывода от 10 до 16 TOPS (триллионов операций в секунду). Вскоре эти процессоры будут широко использоваться, и благодаря предстоящим изменениям в Windows важность ядер Al будет только расти.
Между тем, вместо разработки собственного инструмента AMD рекомендует пользователям проверить программное обеспечение LM Studio, которое является кроссплатформенным и кросс-вендорным решением с закрытым исходным кодом. Он также обеспечивает более простое управление моделями, а также множество опций, которых в Chat with RTX просто нет.
LM Studio работает с процессорами Apple M-серии, имеющими поддержку AVX2, а также может использовать преимущества ускорения графических процессоров AMD и NVIDIA. Для графических процессоров инструмент рекомендует использовать 16 ГБ видеопамяти, а для алгоритмов ML на базе ЦП должно быть доступно не менее 6 ГБ памяти.
Самым большим преимуществом этого решения перед любыми онлайн-моделями является то, что оно работает локально, и данные не собираются и не используются. Компания уделяет большое внимание частному использованию этого программного обеспечения и заботе о конфиденциальности.
Чтобы использовать LM Studio на оборудовании AMD, необходимо выбрать между LM Studio и LM Studio ROCm Preview. Последний оптимизирован для графических процессоров Radeon RX 7000. Загрузив инструмент, пользователям следует запустить его и найти подходящие модели, с которыми необходимо работать.
Стоит отметить, что инструмент не оптимизирован специально для ускорителей искусственного интеллекта AMD XDNA или Intel NPU. Однако он использует OpenCL для APU/CPU AMD со встроенной графикой.
