MLPerf — это важнейшая платформа для сравнения аппаратного обеспечения, предназначенного для работы с задачами искусственного интеллекта. На этих соревнованиях устройства проверяются в реальных условиях на стандартных моделях ИИ, что позволяет объективно оценить их возможности. Поскольку искусственный интеллект и машинное обучение становятся ключевыми технологиями в различных сферах, от облачных вычислений до автономных систем, производительность железа играет решающую роль. На MLPerf внимание уделяется двум основным аспектам: обучению моделей и их инференсу, то есть применению обученных моделей для выполнения задач. Недавно завершился очередной раунд инференса, который оказался особенно интересным из-за появления новых участников и технологий.
В этом раунде сразу четыре новых ускорителя привлекли внимание экспертов. Два из них были представлены компаниями, которые впервые участвовали в MLPerf. Эти новички решили сосредоточиться на одной дисциплине, чтобы продемонстрировать свои сильные стороны и понять, как их разработки могут конкурировать с уже признанными лидерами рынка.
Nvidia вновь подтвердила своё лидерство в области ИИ-ускорителей. Её новейший чип B200 стал настоящей сенсацией. Он показал результаты, которые в 2,5 раза превосходят производительность H200 — модели, которая только что поступила в продажу, и в четыре раза опередил H100, одного из самых мощных ускорителей прошлого поколения. На примере модели Llama 2 с 70 миллиардами параметров B200 смог обработать более 11 тысяч токенов в секунду, что является выдающимся достижением. Эти цифры не просто показывают преимущества нового оборудования, но и свидетельствуют о значительном прогрессе в технологиях обработки естественного языка.
AMD также сделала важный шаг, представив на MLPerf свой первый высокопроизводительный ускоритель для ИИ — MI300x. Этот чип способен обрабатывать 3000 токенов в секунду на модели Llama 2, что делает его сопоставимым с H100 от Nvidia, хотя он всё ещё уступает более новой H200 с её 4500 токенами в секунду. Важно отметить, что AMD намерена выпустить еще более мощный чип MI325x уже в четвертом квартале этого года. Этот ускоритель, оснащённый 288 гигабайтами видеопамяти, будет нацелен на конкуренцию с H200. Однако, несмотря на близость по производительности железа, AMD предстоит решить серьёзные задачи в области программного обеспечения, чтобы её решения могли полноценно конкурировать на рынке.
Интересно, что участие AMD в MLPerf не является абсолютной новинкой. Ранее на этой платформе уже фигурировали её геймерские видеокарты. Например, компания tinycorp, специализирующаяся на серверных решениях на основе геймерских карт, смогла натренировать модель ResNet, используя шесть видеокарт 7900XTX. Для этого tinycorp применила собственный фреймворк и драйверы, что позволило ей добиться значительных результатов даже на оборудовании, которое изначально не предназначалось для таких задач.
Еще одним новым участником MLPerf стала компания Untether AI. Её ускоритель продемонстрировал 60% производительности H100 в тесте ResNet, при этом его эффективность была в три раза выше. Эта высокая эффективность объясняется тем, что вся модель была размещена прямо на чипе, а не в видеопамяти, что сократило задержки и повысило скорость обработки. Однако, такой подход имеет свои ограничения — он подходит только для работы с небольшими моделями, и пока неясно, как Untether AI будет решать задачи с более крупными моделями. В этом плане стоит обратить внимание на компанию Groq, которая работает с похожей архитектурой и уже смогла запустить Llama 2 на 576 чипах. Однако, это требует сложного сетевого взаимодействия и значительных вычислительных ресурсов, что делает такую технологию трудноприменимой на практике.
Google тоже решил не оставаться в стороне и представил свои новые TPU v6 на MLPerf. В тестах инференса модель SDXL на TPU v6 показала в три раза лучшую производительность по сравнению с TPU v5e и достигла 70% от уровня H100. TPU v6 разработаны специально для инференса и представляют собой младшую версию нового поколения чипов Google. Если ориентироваться на предыдущие поколения, можно ожидать, что старшая версия TPU v6 покажет результаты, превышающие младшую в 2,3 раза. Таким образом, Google уверенно продолжает развивать свои TPU, укрепляя позиции в области ИИ.
Значимость MLPerf как независимой платформы для сравнения производительности оборудования сложно переоценить. В условиях, когда производители железа часто представляют результаты своих тестов в выгодном свете, выбирая оптимальные условия и задачи, объективные бенчмарки вроде MLPerf позволяют оценить реальные возможности оборудования в условиях, максимально приближенных к реальной эксплуатации. Такие тесты помогают выявить сильные и слабые стороны различных решений, что особенно важно для компаний, принимающих решения о выборе оборудования для своих ИИ-проектов.
Таким образом, текущий раунд MLPerf показал не только прогресс в развитии ИИ-ускорителей, но и усиливающуюся конкуренцию на этом рынке. В то время как Nvidia продолжает лидировать, другие компании, такие как AMD, Google и новые участники, активно догоняют, представляя собственные инновационные решения. Будущее обещает быть интересным, поскольку развитие аппаратного обеспечения для ИИ продолжает ускоряться, открывая новые возможности для применения искусственного интеллекта в самых разных сферах.
Подписывайся, чтобы не пропустить новости!
