Пожалуй, если бы NVIDIA не вышла на рынок облачных вычислений и не придумала технологию ускорения производительности компьютеров за счёт графических чипов, то мы бы жили в совершенно другом мире. Цены на видеокарты были бы точно ниже, поскольку сегодня Дженсен Хуанг может себе позволить потерять часть рынка настольных компьютеров, сосредоточив усилия на профессиональном сегменте. Что же, инвестиции дали плоды, ведь сегодня NVIDIA считается одной из самых быстрорастущих полупроводниковых компаний. Ну а результаты исследования MLPerf Training, проведённые консорциумом ML Commons, лишний раз доказывают высокий потенциал графических чипов от дядюшки Хуанга.
Начнём с того, что указанный выше тест считается определяющим, поскольку он фиксирует производительность систем машинного обучения, включая модели LLM (Large Language Models), такие, как GPT-3. Бенчмарк стал основным инструментом для оценки масштабных систем, способных эффективно создавать и обучать модели машинного обучения. В последнем обновлении, выпущенном в 2023 году, был добавлен тест производительности при обучении крупных языковых моделей. Ожидаемо, лидерами стали системы, основанные на технологиях NVIDIA и Intel, тогда как Google пока не удаётся выпустить конкурентное решение, способное достичь аналогичных высот. На этот раз в исследовании принимали участие сразу 19 компаний, результаты которых включают 200 различных экспериментов. Особенно интересно наблюдать за тем, как стремительно совершенствуются данный сегмент. Так, за последние пять месяцев чистая производительность выросла в 2.8 раза, а с момента начала работы бенчмарка MLPerf – в 49 раз. Учтите, тест появился всего 5 лет назад, а всё это только подтверждает озвученные выше тезисы.
Действительно впечатляющих результатов удалось добиться NVIDIA, новый графический чип (H100) которой стал основой самых мощных систем на планете. На общем фоне выделяется суперкомпьютер NVIDIA Eos, включающий невероятные 10 752 GPU. При обучении модели GPT-3 он справился с задачей за 4 минуты. Его производительность оценивается в 42.6 квинтиллиона операций с плавающей запятой в секунду. Довольно интересные результаты продемонстрировала облачная платформа Microsoft под названием Azure. Она также основана на продукции NVIDIA, поэтому здесь можно засчитать ещё один бал в копилку Дженсена Хуанга. Эксперты уточняют, что данное тестирование занималось решением только части обучения модели GPT-3. Ну а если бы потребовалось сделать полный цикл, то на это ушло бы целых 8 дней, тогда как тестовая задача оказалась компьютеру под силу всего за 4 минуты. Ну а если говорить о менее мощных системах, то могут потребоваться месяцы и даже годы беспрерывной работы. Компания Intel показала готовые системы, построенные на базе последнего поколения графических ускорителей Gaudi 2. Кроме того, была продемонстрирована работа готовой системы, в которой работали только центральные процессоры Xeon без участия графической составляющей. Одним из ключевых факторов, способствующих росту производительности GPU, стала поддержка 8-битных операций с плавающей запятой (FP8) в Gaudi 2. Эксперты полагают, что использование этой технологии в процессе обучения GPT-3 на процессорах NVIDIA H100 и Gaudi 2 доказывает перспективность существующих решений и высокий потенциал новых разработок.
Известно, что Intel планирует выпустить следующее поколение Gaudi уже в 2024 году, при этом на этот раз графический ускоритель будет основан на том же технологическом процессе, что и NVIDIA H100. Неизвестно, сократит ли это расставание между компаниями, но тот факт, что конкуренция становится всё более заметна, вызывает у экспертов и потенциальных покупателей подобных решений оптимизм. Аналитики отмечают, что сегодня остаётся немного способов повышения производительности традиционных процессоров. Скорее всего, попытка задействовать алгоритмы FP8 станет одной из последних надежд на большой прорыв. После этого у производителей останется только возможность улучшать техпроцессы и увеличивать количество транзисторов в каждом новом продукте. Проще говоря, программные алгоритмы больше не могут оказывать влияние на рост быстродействия, а значит придётся переходить к старому доброму увеличению мышечной массы. При этом не исключается, что есть некоторые перспективы с появлением квантовых процессоров, но пока говорить о подобной технологии в рамках массовых продуктах преждевременно. Ну и как вы уже поняли, AMD не спешит догонять и перегонять NVIDIA в данной сфере. Что любопытно, у красных есть довольно мощные решения, которые способны конкурировать на равных с лучшими разработками от Дженсена Хуанга. Вот только пока Лиза Су нерешительно топчется на месте, что вызывает у экспертов некоторое недопонимание.
