OpenAI использует ИИ-чипы Cerebras для своей модели Codex, достигая 1000 TPS. Это партнерство бросает вызов доминированию NVIDIA в области инференса, предлагая низкую задержку и высокую пропускную способность памяти. — wccftech.com
ИИ-чипы Cerebras впервые нашли применение в основной разработке OpenAI, поскольку ИИ-лаборатория сообщает, что ее последняя модель Codex использует другого поставщика вычислительных мощностей помимо NVIDIA.
OpenAI добилась впечатляющей производительности в 1000 TPS благодаря сверхбыстрой пропускной способности Cerebras
Недавно развернулась сага NVIDIA-OpenAI в сфере финансирования, но, похоже, в гонке за вычислительными мощностями OpenAI избрала интересный путь через свое раннее партнерство с Cerebras. В недавнем релизе Codex компания сообщает, что GPT‑5.3‑Codex‑Spark работает на ИИ-чипах Cerebras, и, в частности, что преимуществом использования этого оборудования перед другими является «низкая задержка» в рабочих нагрузках инференса, о чем мы поговорим далее. Более интересный аспект выбора вычислительных мощностей здесь заключается в том, что OpenAI косвенно объявила «серьезного» конкурента NVIDIA в области инференса.
Разница между стандартными моделями Codex и вариантом «Spark» заключается в том, что OpenAI утверждает, что он разработан для «выполнения задач в реальном времени». С GPT‑5.3‑Codex‑Spark были достигнуты значительные улучшения задержки модели за счет оптимизации конвейеров и, что более важно, использования оборудования Cerebras. OpenAI утверждает, что с этим релизом время до первого токена сократилось на 50%, что, безусловно, является захватывающей цифрой. Codex-Spark работает на Wafer Scale Engine 3 от Cerebras, и вот техническая разбивка:
Теперь, почему OpenAI выбрала Cerebras для вычислений, есть несколько причин. Но одна из самых важных — это то, как с WSE-3 OpenAI получает безумную пропускную способность памяти, что крайне важно для таких рабочих нагрузок, как программирование, где память является узким местом. Именно поэтому с Codex-Spark OpenAI достигает 1000 TPS, что, как утверждается, так же отзывчиво, как «человеческий парный программист». Обучение на инфраструктуре NVIDIA экономически невыгодно для OpenAI, учитывая, что Blackwell больше ориентирован на пакетную обработку, чем на задержку, поэтому Cerebras здесь имеет смысл.
Но когда речь идет об инференсе в масштабе, NVIDIA доминирует в токеномике, и мы видели это в недавнем выступлении компании о том, как она снизила стоимость токенов до 10 раз с помощью Blackwell. Сачин Катти из OpenAI говорит, что с Cerebras компания добавляет «дополнительные возможности», но лояльность ИИ-лаборатории в гонке за вычислительными мощностями направлена на NVIDIA. Однако с Codex-Spark мы можем ясно видеть, что сегодня узким местом является задержка, и на аппаратном уровне технологический стек NVIDIA не имеет сильных позиций для доминирования в этой области.
Было бы интересно посмотреть, как рынок инференса будет позиционировать NVIDIA в будущем, учитывая, что Cerebras — лишь один из серьезных конкурентов в этом сегменте, наряду с новыми решениями от производителей ASIC и таких конкурентов, как AMD.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Muhammad Zuhair