Компания AMD опубликовала результаты тестирования производительности своих старых процессоров Ryzen mobile 7040 Phoenix и Ryzen mobile 8040 в задачах, связанных с использованием больших языковых моделей (large language models, LLM). Согласно этим данным, чипы AMD превзошли новейший процессор Intel Core Ultra Meteor Lake в некоторых конфигурациях тестов до 79%. Для сравнения были взяты процессор Ryzen 7 8740U и флагманский на данный момент чип Intel для мобильных устройств – Core i7-155H. Оба процессора оснащены встроенными нейронными сопроцессорами, отвечающими за ускорение задач искусственного интеллекта. В тестах оценивалась производительность при использовании таких моделей, как Mistral 7b, Llama v2 и Mistral Instruct 7B.В частности, в диалоговом приложении Llama v2 с 4-битной квантизацией Ryzen показал на 14% большую скорость обработки токенов по сравнению с Core i7. В тесте Mistral Instruct с теми же настройками преимущество составило 17% в пользу решения AMD. Если же сравнивать время генерации первого токена для запроса в Llama v2 и Mistral Instruct, то здесь отрыв Ryzen 7 8740U от конкурента достиг 79% и 41% соответственно.Еще один слайд демонстрирует результаты теста Llama 2 7B Chat с использованием различных настроек размера битов квантизации, размера блоков и уровней качества. В среднем по этим результатам чип AMD оказался быстрее на 55%, а в отдельных случаях до 70%. Стоит отметить, что лучшие показатели были продемонстрированы с 8-битной квантизацией, однако AMD рекомендует использовать 4 бита для практических задач и 5 бит для приложений, где критична точность, например машинного перевода.
Подобные результаты неудивительны, учитывая, что ранее тесты уже показывали преимущество решений AMD в задачах искусственного интеллекта. Хотя архитектура Ryzen 7040 и уступает Meteor Lake в пиковой производительности, AMD часто опережает конкурента в реальных нагрузках. Похоже, проблема кроется в оптимизации больших языковых моделей, а не в аппаратных возможностях.
Стоит отметить, что Intel демонстрирует гораздо лучшие результаты при использовании своей платформы OpenVINO для оптимизации приложений искусственного интеллекта. Однако эта платформа поддерживается далеко не всеми разработчиками, что и сказывается на производительности в тестах AMD.Впрочем, в ближайшее время ситуация может кардинально измениться. В конце года Intel планирует выпустить мобильные процессоры Lunar Lake следующего поколения, производительность нейросетевых вычислений в которых, по заявлениям, будет в 3 раза превосходить Meteor Lake. А пока чипы AMD серий Ryzen 7040 и 8040 остаются лидерами в задачах, связанных с использованием больших языковых моделей.
