Семейство больших языковых моделей Llama от Meta* отличается тем, что остается открытым исходным кодом, несмотря на то, что по производительности оно конкурирует с лидерами с закрытым исходным кодом, такими как серия GPT OpenAI и семейство Gemini от Google. Последней версией Llama является Llama 3, которая поставляется в двух версиях: одна с 8 миллиардами параметров и одна с 70 миллиардами параметров.
Если исходить из тестов, представленных самой Meta*, полная версия параметров 70B выглядит в целом конкурентоспособной с GPT-4 от OpenAI, хотя сама Meta* не проводила такого сравнения. Вместо этого компания сосредоточилась на сравнениях с несколько менее популярными конкурентами, включая модели Google Gemini и Gemma, и Claude 2 от Anthropic, а также модели Mistral и Mixtral от французской Mistral AI.
В целом цифры убедительны, но Meta* еще не закончила работу над своими LLM. Мета* сообщает, что самая большая версия Llama 3 с более чем 400 миллиардами параметров все еще находится в стадии обучения. Приведенные выше цифры относятся к этой модели, и в целом они являются лучшими, которые мы видели из того, что будет иметь открытый исходный код. Meta* сообщает, что в Llama 3 в ближайшие месяцы появятся дополнительные выпуски, в которых будут добавлены такие функции, как мультимодальность (изображения, аудио и возможно видео), поддержка нескольких языков и многое другое.
Примечательно, что поскольку исходный код Llama 3 открыт, вы можете скачать модели прямо сейчас и поиграть с ними локально. Однако здесь есть предостережение. Вам потребуется настроить среду Bash, поскольку для загрузки требуется использование сценария оболочки. Это должно быть тривиально для любого исследователя ИИ, большинства разработчиков и многих опытных пользователей, но если вы обычный энтузиаст ИИ, возможно вам лучше подождать более доступного пакета.
Действительно, все это хорошо, если вы исследователь ИИ, но что, если вы обычный пользователь? Вы (теоретически) все равно можете опробовать Llama 3, используя нового помощника Meta AI от Meta*. Помощник встроен в последние версии приложений Facebook*, Instagram*, WhatsApp и Messenger, где он может рекомендовать рестораны, находить ночные развлечения, помогать с образованием или создавать изображения. В него также можно поиграть на новом сайте Meta.ai, хотя вам понадобится учетная запись Facebook*, чтобы делать что-нибудь интересное.
Одним из недостатков этой реструктуризации является то, что функция создания Meta Imagine AI была добавлена на новый сайт Meta AI. Если раньше пользователям разрешалось входить в систему с учетными записями Meta*, то для создания изображений теперь требуется учетная запись Facebook, что вероятно предотвратит возможность анонимных пользователей загружать серверы Meta* запросами на генерацию изображений с интенсивными вычислениями. Тем не менее, он научился некоторым новым трюкам, в том числе возможности брать созданные изображения и повторять их или даже анимировать их, позволяя пользователям делиться ими с друзьями в формате GIF.
Компания Intel выпустила несколько статей, в которых хвалила высокую производительность процессоров Core Ultra и Xeon, графических процессоров Arc и ускорителей Gaudi при работе с Llama 3.
В частности компания отмечает, что встроенный графический процессор Arc в ЦП Core Ultra "уже может генерировать текст быстрее, чем обычная скорость чтения человека". Между тем набор из восьми чипов Gaudi 2, очевидно может генерировать около 131 предложений в секунду, одновременно выполняя серию из десяти подсказок. Будущие процессоры Xeon 6 похоже в два раза быстрее, чем Sapphire Rapids на Llama 3.
Что касается дискретных графических процессоров Arc, у Intel на самом деле есть расширенное руководство, показывающее, как настроить большую языковую модель для локального запуска на вашем графическом процессоре Arc. Если у вас есть графический процессор Arc и вы хотите общаться с LLM, работающим непосредственно на вашем ПК, вы можете перейти к пошаговому руководству Intel.
* Входит в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ "О противодействии экстремистской деятельности".