Разработчик ИИ-ускорителей Groq взял на вооружение языковую модель Meta* LLaMA

Стартап Groq, специализирующийся на разработке ИИ-ускорителей, сообщил об адаптации языковой модели Meta* LLaMA для своих аппаратных решений. Изначально эта модель ориентирована на работу в системах, оснащённых ускорителями NVIDIA.

Meta* анонсировала LLaMA в конце февраля 2023 года. Модель предназначена для создания чат-ботов вроде ChatGPT. Количество параметров в случае LLaMA может варьироваться от 7 до 65 млрд против 175 млрд у OpenAI GPT-3, которая является основой ChatGPT. При этом, как утверждается, по производительности LLaMA выигрывает у GPT-3.

По заявлениям Groq, команде компании из менее чем десяти человек понадобилось около недели для переноса LLaMA на собственную аппаратную платформу. Модель была запущена на сервере GroqNode, который оборудован восемью одноядерными процессорами GroqChip.

«Мы быстро перенесли LLaMA на GroqChip, несмотря на то, что эта модель изначально не предназначена для нашего оборудования. Для подготовки кода для компилятора Groq требуется минимальная работа. Связано это с тем, что компилятор Groq обнаруживает параллелизм программы и оптимальные макеты данных автоматически — вручную написанный код не требуется», — отмечает Groq.

Таким образом, теперь исследователи, а также специалисты по обработке и анализу данных смогут использовать передовую языковую ИИ-модель LLaMA на оборудовании Groq. Ожидается, что это повысит скорость разработки продуктов и их вывода на коммерческий рынок.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Больше интересных новостей на сайте Servernews:
• Intel представила FPGA Agilex 7 с высокоскоростными трансиверами F-Tile
• TrendForce: облака и гиперскейлеры готовятся к массовому внедрению ИИ-серверов
• Доступ к ChatGPT появился в облачной службе Microsoft Azure OpenAI Service