Intel Arc Alchemist - графические процессоры, способные работать с большими языковыми моделями, включая Llama 2, благодаря расширению PyTorch, представленному в недавнем блоге Intel. Расширение PyTorch, которое работает как в операционной системе Windows, так и в Linux, позволяет использовать преимущества производительности FP16 на графических процессорах Arc. Однако Intel заявляет, что для использования Llama 2 на оборудовании Intel потребуется 14 ГБ видеопамяти, что подразумевает использование видеокарты Arc A770 объемом в 16 ГБ.
PyTorch - это фреймворк с открытым исходным кодом, разработанный Meta для машинного обучения, который затем может использоваться с Llama. В то время как данное программное обеспечение работает "из коробки", оно по умолчанию не настроено на использование всех преимуществ аппаратных средств, и поэтому Intel предлагает расширение PyTorch. Это программное обеспечение разработано для использования возможностей XMX-ядер в графических процессорах Arc, и его первый релиз состоялся в январе 2023 года. Аналогичные оптимизации для PyTorch также имеются у AMD и Nvidia, направленные на повышение производительности.
В своем блоге Intel продемонстрировала возможности Arc A770 16 ГБ в Llama 2 с использованием последнего обновления расширения PyTorch от Intel, вышедшего в декабре и специально оптимизированного для улучшения производительности FP16. Демонстрация показала Llama 2 и Llama 2-Chat LLM, основанные на диалоговых задачах, в которых задаются вопросы о возможности глубокого обучения достигать такой же обобщающей способности, как у людей.