У NVIDIA есть новый вариант графического процессора Hopper, разработанный исключительно для больших языковых моделей (LLM), таких как Chat-GPT.
H100 NVL - лучший профессиональный графический ускоритель в линейке NVIDIA Hopper. Технически, это вариант ускорителя центра обработки данных H100, разработанный специально для одной цели — повысить языковые модели ИИ, такие как Chat-GPT.
H100 NVL — это не один графический процессор, а вариант с двумя графическими процессорами, состоящий из двух карт PCIe, соединенных друг с другом через три моста NVLink Gen4.
Но у варианта NVL есть еще одно преимущество перед существующими графическими процессорами H100 — объем памяти. Этот графический процессор использует все шесть стеков памяти HBM3, предлагая в общей сложности 188 ГБ высокоскоростного буфера. Это необычная емкость, которая указывает на то, что на каждый графический процессор доступно только 94 ГБ, а не 96 ГБ.
H100 NVL имеет полный 6144-битный интерфейс памяти (1024-битный для каждого стека HBM3) и скорость памяти до 5,1 Гбит/с. Это означает, что максимальная пропускная способность составляет 7,8 ГБ/с, что более чем в два раза выше, чем у H100 SXM. Большие языковые модели требуют больших буферов, и более высокая пропускная способность, безусловно, также окажет влияние.
NVIDIA H100 NVL для развертывания больших языковых моделей идеально подходит для масштабного развертывания массивных LLM, таких как ChatGPT. Новый H100 NVL с 94 ГБ памяти и ускорением Transformer Engine обеспечивает до 12 раз более высокую производительность логических выводов в GPT-3 по сравнению с предыдущим поколением A100 в масштабе центра обработки данных.
NVIDIA ожидает, что графический процессор H100 NVL будет запущен во второй половине этого года, не сообщая никаких подробностей.
# технологии
# it
# nvidia
# Chat-CPT