Intel открыла код своей библиотеки, которая позволит использовать возможности нового блока нейронной обработки (NPU) в процессорах Meteor Lake.Ferra
Библиотека позволяет запускать компактные языковые модели вроде Gemma-2b или TinyLlama прямо на NPU, не требуя никакого облачного сервера.iXBT.com
В настоящее время только процессоры Meteor Lake могут похвастаться этим специализированным NPU, но дорожная карта Intel предусматривает интеграцию NPU в грядущие процессоры Arrow Lake и Lunar Lake позднее в этом году.Ferra
Ожидается, что в будущих обновлениях появится поддержка 4-битного квантования, смешанной точности с поддержкой NPU и многое другое.Ferra