SVK.Digital

При разработке ИИ на заказ сложности зачастую начинаются после того, как модель уже научилась решать задачу. Мы столкнулись с этим при создании HR-платформы: ИИ успешно оценивал резюме по требованиям вакансии, но HeadHunter позволял загружать только 500 анкет в сутки. При этом на отдельные вакансии приходило больше 600 откликов. Чтобы система могла работать с таким потоком, пришлось реализовать контроль лимитов, сохранение резюме и повторный скоринг без новых обращений к API. Это только один из примеров ограничений, которые обнаруживаются при интеграции ИИ в реальные бизнес-процессы...

Ситуация: компания планирует разработать B2B-портал для своих дилеров. Подрядчик изучает техническое задание и оценивает проект почти в 13 млн рублей. Сумма немаленькая, но обоснованная. В смете учтены разработка, интеграции, тестирование, проектирование и другие необходимые работы. Затем команда подробнее разбирается в бизнес-процессах заказчика, пересматривает несколько технических решений и получает новую оценку — 8,4 млн рублей вместо 13 млн. Разница — 4,6 млн рублей. При этом основные задачи будущего портала остаются прежними...

До начала продажи билетов оставалось 15 секунд, когда система получила первую ошибку. Следующие 33 минуты стали испытанием для одной из крупнейших билетных платформ. Покупатели не могли открыть схему зала, а некоторые после оплаты не понимали, получили они билеты или нет. За полчаса накопилось почти 11 тысяч ошибок. Ещё 271 продажу система не смогла подтвердить с первого раза. Позже эти операции восстановили, но в момент покупки зрителям от этого было не легче. Казалось бы, решение очевидно: добавить серверов, увеличить мощность оборудования и дать системе больше ресурсов...

На пилоте экономика ИИ выглядит убедительно: пользователей мало, запросы короткие, сценарий контролируемый. После выхода в продакшн появляются RAG, память, внешние сервисы и ретраи, а ассистент превращается в агента, который сам выбирает следующие действия. Один запрос требует одного обращения к модели, другой — десяти вызовов LLM, поиска и нескольких API. Поэтому общий счёт за API или GPU показывает мало. Управлять нужно стоимостью успешно выполненной бизнес-задачи. С этого начинается AI FinOps...