The Information сообщает, что OpenAI сократила расходы на inference более чем в два раза на некоторых уже существующих моделях, при этом трафик ChatGPT без входа в аккаунт обслуживался всего на паре сотен GPU Nvidia.
Самые очевидные версии: квантизация, изменения в KV-cache, батчинг, speculative decoding и маршрутизация простых запросов на более дешёвые модели.
Если это правда, это станет огромным конкурентным рычагом. Более низкая стоимость может повысить маржу, расширить лимиты использования или снизить давление на цены API.
Для контекста: скорректированная валовая маржа OpenAI упала до 33% в 2025 году с 40% в 2024-м после того, как расходы на inference выросли в четыре раза.
По некоторым данным, в первом квартале 2026 года показатель уже достиг 39%, а цель к концу года - 52%.
У Anthropic ситуация похожая: примерно 44%. То есть frontier-лаборатории всё ещё сильно отстают от экономики зрелого софта.
