В прошлой статье мы разобрали, на что может влиять AI. Но само по себе влияние ничего не значит без привязки к бизнес-метрикам.
Любое внедрение — это управленческое решение. Оно требует ответа на три вопроса: даст ли технология измеримый результат, какого масштаба будет эффект и перекроет ли он затраты. Также важно безопасно проверить гипотезу до её масштабирования: сначала — пилот и расчёт эффекта, затем — расширение. Без этого AI может превратиться не в инвестицию, а в статью убытков.
В заключительной статье цикла об AI разберём, как тестировать влияние на практике, как считать экономику внедрения и какие ключевые блокеры ограничивают масштабирование этой технологии во многих компаниях.
🎲 Две стратегии: новаторство и следование за конкурентами
Чтобы оценить экономику внедрения AI, нужны две гипотезы: гипотеза эффекта — какой результат и в каком объёме он даст, и гипотеза решения — приведёт ли выбранный способ к этому результату. Если обе подтверждаются, эффект сравнивается со стоимостью на масштабе. Масштабировать имеет смысл только там, где влияние устойчиво перекрывает затраты.
Подтвердить это можно двумя путями. Первый — тестировать самостоятельно: пилот, замер метрик, расчёт экономики. Второй — опираться на уже сложившиеся рыночные практики и следовать за конкурентами, снижая неопределённость.
Первая стратегия дороже и несёт риск убытков, но даёт преимущество во времени и фору, пока рынок догоняет. Вторая — менее затратная и более безопасная, но с риском упустить момент и потерять долю рынка.
🥇Новаторство: прямое влияние – улучшение показателей
Прямое влияние — это рост доли текущего или первые продажи на новом рынках, за счёт функциональных преимуществ и выгодного позиционирования, повышение эффективности продаж или снижение переменных и постоянных издержек. Например, усиление позиционирования продукта за счёт AI может дать прирост доли рынка, а внедрение роботов на складе — снизить затраты на хранение.
Если вы внедряете технологии первыми, эффект нужно тестировать. Базовые инструменты:
A/B-тест — это параллельное сравнение. Например, при внедрении видеоаналитики для контроля качества на производственной линии часть продукции проверяет человек, а часть — система видеоаналитики. Поток продукции делится 50 на 50 в случайном порядке, после чего сравнивается точность контроля качества в каждой из групп и рассчитывается экономический эффект.
«Было — стало» — внедрение сразу на весь объём с фиксацией даты. Например, вы внедряете роботов для снижения складских издержек и сравниваете расходы до 1 марта и после. Метод простой, но рискованный: вместе с внедрением могут измениться бизнес, рынок или экономические условия — это может исказить результат. Например, повышение стоимости аренды склада или его расширение могут увеличить общие издержки на хранение, даже если внедрение роботов снижает стоимость хранения одной единицы товара.
Региональный тест — внедрение в одном регионе и сравнение с другим. Если вы усилили функциональные свойства продукта и рассчитываете на рост доли рынка, можно протестировать изменения локально и сопоставить результат с похожим регионом. Ключевое — сопоставимость: сравнивать Москву и небольшой город некорректно из-за разной структуры спроса.
Лестничный запуск — поэтапное масштабирование. Например, внедрение рекомендательной системы для менеджеров по продажам: сначала 5 человек, затем 10, 20 и 100. На каждом этапе оценивается влияние на конверсию и выручку.
Офлайн-тестирование — например, видеоаналитику для контроля качества можно протестировать без встраивания в линию: прогнать архив продукции и сравнить точность с разметкой сотрудников. Алгоритм оптимизации маршрутов можно проверить на исторических данных и рассчитать потенциальную экономию времени и топлива в деньгах — без реального запуска на водителей.
Fake door — проверка спроса без реального внедрения. Вы заявляете о новой AI-функции и смотрите на реакцию рынка: меняется ли интерес и повышается ли конверсия. Метод рискованный с точки зрения репутации, но этот риск можно снизить, если честно обозначить, что решение находится в стадии разработки, и предложить ранний доступ или специальные условия первым клиентам. Задача — получить сигнал о рыночном потенциале без затрат на полноценную разработку и внедрение.
Фокус-группы — это проверка ценности идеи до внедрения. Вы обсуждаете с действующими клиентами новую AI-функцию или позиционирование и оцениваете, решает ли это их задачу и готовы ли они за это платить. Метод особенно эффективен в узком B2B-сегменте, где клиентская база ограничена. Он не даёт точной количественной оценки эффекта, но помогает быстро отсеять слабые гипотезы и снизить риск инвестиций.
Методы тестирования можно комбинировать: региональный тест проводить в формате A/B, лестничный запуск — через «было — стало», fake door — ограничить одним регионом и параллельно замерять конверсию. Инструменты не исключают друг друга, а повышают точность оценки.
Ключевое во всех тестах — контроль причинно-следственной связи. Мир меняется параллельно с вашими действиями: рынок сжимается или растёт, меняются цены, сотрудники приходят и уходят, конкуренты запускают новые продукты. Если не изолировать влияние этих факторов, можно принять чужой эффект за свой.
👁Следование за конкурентами: защитное влияние – предотвращение ухудшения показателей
Защитное влияние — это предотвращение ухудшения показателей. Вы не столько «растите» метрики, сколько снижаете будущие риски и удерживаете текущие значения.
Компании, которые успешно внедряют AI, становятся эффективнее по затратам, дистрибуции и позиционированию. Их продукт и экономика улучшаются, и они начинают отъедать долю рынка. Эту долю они забирают у тех, кто не адаптировался, — и это можете быть вы.
Со временем AI-функции, AI-позиционирование и оптимизация издержек станут рыночной нормой — как кондиционер в автомобилях или интеллектуальная навигация в роботах-пылесосах. Если вы догоняете, вопрос «сработает или нет» уже вторичен. Когда у конкурентов это работает, это и есть тест, проведённый за их счёт. Ваша задача — внедрить быстрее и дешевле.
Пример — сдвиг в дистрибуции: поиск постепенно уступает место чат-ассистентам. Компании, опирающиеся только на Google и «Яндекс», рискуют потерять трафик. Здесь не нужно A/B-тестирование — нужно признать изменение канала и адаптироваться, чтобы сохранить клиентов.
В этой стратегии критично:
1. Ориентироваться на компании сопоставимого или меньшего масштаба, не обязательно из своей индустрии. У крупного бизнеса другие ресурсы и эффект масштаба — их кейсы не всегда воспроизводимы;
2. Отличать реальный результат от блефа. Публичные заявления конкурентов могут быть маркетингом, а не отражением экономического эффекта;
3. Не терять время. В команде должна быть заранее определена точка принятия решения. Если наблюдать слишком долго, временной разрыв может стать таким, что догнать уже не получится.
🧰 Что уже доказало свое влияние – кейсы с рынка
В первой статье цикла уже упоминалось, что классический Data Science давно доказал свою экономическую эффективность — задолго до генеративного хайпа: контроль качества на производстве; антифрод в банках; кредитный скоринг; фильтрация контента; рекомендательные системы; сегментация клиентов; группировка документов и анализ поведения; прогноз спроса, цен, загрузки мощностей, оттока клиентов и поломок оборудования; оптимизация маршрутов; динамическое ценообразование; управление робототехникой; распознавание речи и анализ отзывов.
Интрига, сегодня, находится в применении генеративных LLM-решений. Вот выдержки, которые отражают действительность:
Классические модели ROI плохо работают: сложно посчитать эффект от предотвращенных ошибок, ускорения решений или повышения качества процессов. В условиях высокой ключевой ставки бизнес перестал инвестировать в проекты с туманной окупаемостью.
ИИ оказался в ловушке: он слишком дорогой для игрушки и слишком «сырой» для стратегической инвестиции. Если еще несколько лет назад компании внедряли нейросети «потому что тренд», то сегодня вопрос звучит иначе: какой конкретный показатель должен измениться к лучшему в течение фиксированного срока. Для большинства проектов ответ на этот вопрос так и не найден.
Нейросети не вытесняют людей так быстро, как ожидали многие топ-менеджеры. Интеграция стоит дороже, чем указывалось в Excel-таблицах. Около 95 процентов организаций еще не реализовали ощутимую финансовую отдачу от своих инвестиций в ИИ.
Искусственный интеллект есть в компании везде, кроме финансовых отчетов.
Управленческий подход к AI отлично иллюстрирует история о внедрении Microsoft Copilot:
В прошлом квартале я выкатил Microsoft Copilot на 4 000 сотрудников.
$30 за место в месяц.
$1,4 млн в год.
Я назвал это «цифровой трансформацией».
Совет директоров обожает такие слова.
Они утвердили всё за одиннадцать минут.
Никто не спросил, что именно это будет делать.
Включая меня.
Я всем сказал, что это «увеличит продуктивность в 10 раз».
Это не настоящее число.
Но звучит как настоящее.
HR спросили, как мы будем измерять эти 10x.
Я сказал, что «подключим аналитические дашборды».
Они перестали спрашивать.
Через три месяца я заглянул в отчёты по использованию.
Copilot открыли 47 человек.
12 пользовались больше одного раза.
Один из них — я.
Я использовал его, чтобы пересказать письмо, которое мог прочитать за 30 секунд.
Это заняло 45 секунд.
Плюс время на исправление галлюцинаций.
Но я назвал это «успешным пилотом».
Успех — это когда пилот заметно не провалился.
CFO спросил про ROI.
Я показал ему график.
График рос вверх и вправо.
Он измерял «AI enablement».
Я придумал эту метрику на месте.
Он одобрительно кивнул.
Теперь мы «AI-enabled».
Я не знаю, что это значит.
Но это есть в нашем инвесторском деке.
Сеньор-разработчик спросил, почему мы не взяли Claude или ChatGPT.
Я сказал, что нам нужна «enterprise-grade security».
Он спросил, что это значит.
Я сказал: «комплаенс».
Он спросил: какой именно комплаенс.
Я сказал: «весь».
Он посмотрел скептически.
Я поставил ему «разговор про карьерное развитие».
Он перестал задавать вопросы.
Microsoft прислали команду для кейс-стади.
Они хотели сделать из нас историю успеха.
Я сказал, что мы «сэкономили 40 000 часов».
Я посчитал это, умножив число сотрудников на число, которое придумал.
Они не проверяли.
Они никогда не проверяют.
Теперь мы на сайте Microsoft.
«Глобальная корпорация получила 40 000 часов прироста продуктивности с Copilot».
CEO запостил это в LinkedIn.
Собрал 3 000 лайков.
Он ни разу не пользовался Copilot.
Никто из руководителей не пользовался.
У нас есть исключение.
«Стратегический фокус требует минимальных цифровых отвлечений».
Эту политику написал я.
Лицензии продлеваются в следующем месяце.
Я запрашиваю расширение.
Ещё 5 000 мест.
Мы не использовали первые 4 000.
Но в этот раз мы «продавим адопшен».
Адопшен — это обязательное обучение.
Обучение — это 45-минутный вебинар, который никто не смотрит.
Но прохождение будет трекаться.
Прохождение — это метрика.
Метрики живут в дашбордах.
Дашборды идут в презентации для совета директоров.
Презентации для совета директоров приносят мне повышение.
К Q3 я буду SVP.
Я всё ещё не знаю, что именно делает Copilot.
Но я знаю, зачем он нужен.
Он нужен, чтобы показать, что мы «инвестируем в AI».
Инвестиции — это траты.
Траты — это приверженность.
Приверженность — значит, мы серьёзно относимся к будущему.
Будущее — это то, что я скажу, что оно такое.
Главное, чтобы график шёл вверх и вправо.
В чем уже нет сомнения – LLM повышает производительность труда, но это очень сложно переложить в прямой финансовый результат.
В исследовании Harvard совместно с Boston Consulting Group 758 консультантов решали реальные бизнес-кейсы. Участники с доступом к GPT-4 выполняли задачи на 25% быстрее по сравнению с контрольной группой без AI.
В 2024 году McKinsey изучила работу менеджеров продуктов в Европе и США на протяжении полного жизненного цикла продукта. Использование AI позволило сократить время выполнения задач на 15–40%, уменьшить time-to-market на 5% и высвободить время для стратегических инициатив.
Генеративный ИИ увеличивает доход своих пользователей: средняя отдача составляет 1,8–2,2% заработка, показало исследование экспертов BIS на данных репрезентативного опроса итальянцев. Это увеличение сопоставимо с отдачей от полугода дополнительного образования.
🚫 Блокеры внедрения AI-решений
Масштаб и данные. Решения требуют больших массивов данных и достаточного объёма операций, чтобы окупиться. Слабый эффект экономически оправдан только на крупном масштабе. Чем сильнее качественное изменение, тем меньшему бизнесу оно может быть выгодно. Например, снижение стоимости контакта на 5% при маркетинговом бюджете 100 тыс. руб. и 100 млн руб. даёт разный экономический результат при одинаковой стоимости решения.
Стоимость и экспертиза. Коробочные решения редко подходят без адаптации: смена компании — это смена контекста и данных, а значит, требуется перенастройка AI-решений. В ряде отраслей добавляются требования безопасности: приватные модели, изолированные контуры, регуляторные ограничения. Всё это делает стоимость решений высокой.
Эти два блокера взаимосвязаны: чем ниже стоимость решения, тем меньший эффект на меньшем объёме операций необходим, чтобы его окупить. Именно поэтому многие технологии распространяются по мере того, как становятся дешевле.
Галлюцинации и детерминированность ответов. Галлюцинации — это случаи, когда LLM генерирует информацию, не соответствующую фактам или контексту вашей компании. Отсутствие детерминированности — ситуация, при которой при одинаковых входных данных модель может выдавать разные ответы. Цитата, которая хорошо иллюстрирует эти проблемы:
В 2024 году Air Canada проиграла суд из-за чат-бота на базе LLM, который придумал несуществующие правила возврата билетов. Для Microsoft 2026 год начался печально — акции компании упали из-за беспокойства инвесторов по поводу окупаемости вложений в ИИ. В прошлом году чат-бот Microsoft Copilot во многих компаниях не дал ожидаемых результатов, его применение было ограничено из-за ошибок, рисков и необходимости постоянной ручной проверки.
🧶Вектора развития технологии: что дальше
Следующий этап развития LLM — мультиагентные системы. Это набор специализированных агентов с распределёнными ролями: один анализирует данные, второй планирует, третий генерирует решения, четвёртый валидирует результат. По сути, это цифровая команда. Как и в офлайне, разделение труда повышает качество, управляемость и эффективность. Такие системы позволяют закрывать сложные цепочки задач с более прогнозируемым результатом.
Меняется и программирование. Разработчик всё чаще управляет агентами, которые пишут код. Ключевая компетенция смещается в сторону архитектуры, постановки задач и контроля качества. Это может кратно повышать производительность, снижать стоимость разработки и ускорять вывод решений в продакшен.
Неизбежны удешевление и стандартизация. Любая технология со временем становится более доступной и «коробочной». Это расширяет её применение и снижает порог входа.
Но главный вопрос не в том, будет ли AI развиваться, а в том, где он станет обязательной частью конкурентоспособности. Показателен пример блокчейна: технология не исчезла, но заняла конкретные ниши и не стала универсальным стандартом. С AI может произойти то же самое: часть решений станет инфраструктурой и рыночной нормой, а часть останется нишевыми инструментами.
Задача бизнеса — системно отслеживать изменения и своевременно принимать решения.
💡 Финальная мысль: где тут деньги
AI сам по себе не создаёт прибыль. Прибыль появляется там, где гипотезы подтверждены цифрами, а эффект перекрывает затраты.
Вы можете выбрать стратегию новаторов — тогда экономика внедрения строится вокруг вопросов:
• Какой бизнес-показатель изменится;
• Какого масштаба будут эти изменения;
• Как это проверить с минимальными издержками: A/B-тесты, «было — стало», региональные тесты, лестничный запуск, офлайн-тестирование, fake door или фокус-группы;
• Какая стоимость решения будет на масштабе;
• Перекроет ли эффект стоимость решения и на каком масштабе.
Либо выбрать стратегию следования за конкурентами — тогда критичны другие вопросы:
• На компании какого масштаба и из какой индустрии ориентироваться;
• Как перепроверить их публичные заявления;
• Как определить точку во времени, когда нужно начинать внедрять AI, чтобы не увеличивать временной разрыв;
• Как внедрить решение максимально быстро и дешево.
В любом случае опыт многих компаний показывает, что сотрудников бэк-офиса стоит обучать работе с LLM, поскольку это может повышать производительность труда на 20–70% в зависимости от отрасли и типа операций.
В остальном остаётся наблюдать за тем, какая часть AI-инструментов окажется повсеместной в бизнесе, а какая — останется нишевой, как блокчейн.
Считаете контент полезным? Тогда подписывайтесь на мой телеграмм канал t.me/gdedengi_mba и будьте в курсе новых статей!