Именно такие оптимизации доступны для оборудования Intel, как процессоров, так и графических процессоров, через расширение Intel для PyTorch или "IPEX". Этот пакет расширяет PyTorch оптимизациями, специально предназначенными для вычислительного оборудования Intel, включая AVX-512 с VNNI и AMX на процессорах, а также модули Xe Matrix Extensions (XMX) архитектуры Xe.
Intel опубликовала сообщение в блоге, в котором подробно описывается, как можно запустить большую языковую модель Llama 2 от Meta AI на одной из своих видеокарт Arc A770. Это должен быть A770 16 ГБ, потому что для работы модели требуется около 14 ГБ оперативной памяти графического процессора. Однако, если у вас есть необходимый графический процессор, в сообщении блога есть подробные инструкции, которые помогут вам его настроить.
В некотором смысле это можно рассматривать как прямой ответ на Chat with RTX . Этот инструмент позволяет владельцам GeForce с графическими процессорами объемом более 8 ГБ запускать модели PyTorch-LLM (включая Mistral и Llama 2) на своих видеокартах. NVIDIA достигает меньшего использования видеопамяти, распространяя квантованные версии моделей INT4, в то время как Intel использует более точную версию FP16. Хотя теоретически это не должно сильно повлиять на результаты.
Настройка и запуск Llama 2 на вашем A770 - это сложный процесс, поэтому мы не будем приводить здесь все этапы. Достаточно сказать, что это включает в себя установку набора инструментов Intel oneAPI, среды Conda и PyTorch, а также расширения Intel для PyTorch. После того как вы все это настроите, к сожалению у вас не будет такого красивого графического интерфейса, как в Chat with RTX. Вместо этого вы отправляете запросы ИИ с помощью скриптов Python.
Это немного неуклюже, но работает. Intel предоставляет несколько разных скриншотов результатов работы ИИ. Честно говоря, это скорее подтверждение концепции, чем что-либо еще, но такие доказательства важны на данном этапе, когда многие люди ставят под сомнение внимание отрасли к ИИ в то время, когда похоже еще относительно мало приемлимых вариантов использования для конечных пользователей. Локальный чат-бот очень привлекателен для людей, заботящихся о конфиденциальности и безопасности своих данных.
