Экономика ИИ-агентов в цифрах: бенчмарк McKinsey
McKinsey Quarterly опубликовал разбор экономики агентных систем - интервью с Дэвидом Теппером, CEO Pay-i (платформа измерения экономики ИИ; ранее 19 лет в Microsoft, отвечал за genAI-потребление Azure).
Центральный тезис: токены - это счёт, а не ценность.
Счёт фиксирует расход и не отвечает на вопрос об эффекте.
Бенчмарки для сверки:
• 60% стоимости агентной задачи - проверка и доработка результата, не его создание;
• агентная задача может потреблять в 1000 раз больше токенов относительно диалога с моделью;
• разброс стоимости одной задачи у автономного агента - до 30 раз между прогонами;
• внутри одного прогона - в среднем участвуют 3,5 модели, часто разных провайдеров;
• инференс дешевеет на 6,7% в месяц с 2022 года (минус 86% при равном размере модели); стоимость решённой задачи при этом растёт;
• кэширование входных токенов снижает стоимость на 75-90%; у большинства промпты под кэш не структурированы;
• $3 млн годовых расходов на модель одного провайдера - порог перехода на выделенные мощности;
• 95% предприятий не измеряют возврат на ИИ.
Под словом «агент» продаются три сущности с разной экономикой:
• workflow - genAI-шаг в обычном софте, затраты ограничены вызовом;
• pipeline - заданная цепочка с LLM, к этому классу относится большинство вендорских «агентов»;
• истинный агент - сам выбирает, что и сколько вызывать, - затраты не ограничены, отсюда 30-кратный разброс.
Оговорка Теппера: часто pipeline - ровно то, что вам нужно; но знать, что именно вы покупаете, обязательно.
Формула перехода на агента:
вероятность успеха выше отношения времени проверки к времени ручной работы.
Задачу человек делает два часа, результат агента проверяет за шесть минут - порог 5%. Формула щедрая: сам Теппер оговаривает, что расчёт держится, пока ошибка не меняет среду; добавим - счёт самого агента и качество проверки в ней тоже за скобками.
ROI не посчитать, пока не назван показатель успеха агента, - а его, по опыту Pay-i, у большинства нет. Вопрос совета директоров за полтора года сменился: с «окупается ли ИИ» на «какие из моих 47 агентов окупаются и как это подтвердить».
Прогноз Теппера (интерес очевиден: измерение - бизнес Pay-i): 95%, не измеряющих возврат, - это дефицит измерения, а не пузырь. Кто приравнял «не видим возврата» к «возврата нет», повторит путь опоздавших в облака в 2014.
@ReymerDigital