Рынок аппаратного обеспечения для искусственного интеллекта долгое время оставался вотчиной NVIDIA. Но ситуация начала меняться. В релизе новой модели Codex компания OpenAI раскрыла детали о вычислительной инфраструктуре. Как отмечает WCCFTech, помимо решений NVIDIA, в работе задействовали чипы Cerebras WSE-3.
Изображение - Prompt Engineering/youtube.com
Речь идет о версии GPT-5.3-Codex-Spark, которую OpenAI позиционирует как инструмент для работы в реальном времени. Разработчики заявляют о двукратном сокращении времени до получения первого токена — ключевого показателя для интерактивных задач. Такого результата добились за счет оптимизации конвейеров и, что важнее, использования архитектуры Cerebras.
OpenAI утверждает, что в этом релизе время до получения первого токена сократилось на 50%, что, безусловно, является впечатляющей цифрой. Именно поэтому с Codex-Spark OpenAI достигает 1000 транзакций в секунду, что, как утверждается, сравнимо с производительностью «парного программиста-человека».
Выбор в пользу Cerebras объясняется спецификой нагрузки. Инференция с низкой задержкой требует иного подхода, чем пакетная обработка, на которую заточены решения NVIDIA Blackwell. Использовать GPU NVIDIA для таких сценариев экономически невыгодно.
При этом в OpenAI подчеркивают: в вопросах масштабируемого вывода данных NVIDIA по-прежнему доминирует. Blackwell позволяет снижать стоимость токенов в разы, и основным партнером лаборатории остается именно NVIDIA.
Читайте далее на сайте
Цены на HDD неизбежно вырастут: Western Digital распродала все жесткие диски до 2028 года
Владелец Ryzen 7 9800X3D сообщил о сбое процессора при загрузке менее 10% на материнской плате ASUS