Вторая беседа с Юрием Чайниковым, RDL by Red Mad Robot, из цикла “Анатомия ML-проекта в промышленности”. Первая беседа здесь.
Главное в скоринге - структурированный здравый смысл.
Сначала имеющиеся идеи проектов надо оценить (отскорить) в очень простом смысле - просто по порядку величины эффекта. Нужно, чтобы кто-нибудь, кто вовлечен в реальное производство, на глаз смог оценить экономический эффект в процентах.
Необходимо решить - каков горизонт планирования. Самый характерный горизонт - годовой, расчет годового экономического эффекта. В рамках годового цикла обычно стремятся к тому, чтобы средства, вложенные в нововведение, окупились в этом же году. Некоторые исходят из оценки - Х2 за год.
Помимо прямых эффектов, которые могут быть очевидны, можно учитывать десятки характеристик, которые тоже могут быть очень важны.
После определения горизонта и грубой оценки экономического эффекта нужно оценить степень готовности технологии, которая будет внедряться, и степень внутренней готовности внутренних ресурсов предприятия.
После того, как подсчитан эффект, мы получаем верхнюю границу для тех денег, которые могут быть потрачены на проект.
Основные факторы, которые определяют - получится пилотный проект или нет, это время, дефицитные ресурсы и компетенции. Поэтому так важно оценить готовность технологии на стороне подрядчика и готовность инфраструктуры и людей на стороне заказчика. Это должно войти в предпроектное исследование, которое должно оценить сложность проекта.
После первой оценк и необходимо отсортировать проекты в порядке убывания:
- легкие проекты, которые приносят большие эффекты
- легкие проекты, которые приносят небольшие эффекты
- трудные проекты, которые приносят большие эффекты
- легкие проекты, которые приносят небольшие эффекты.
Очень рекомендуется при выборе для начала между трудным проектом с большими эффектами и легким проектом с небольшими эффектами, выбрать последнее. Особенно, если это первый совместный проект.
Небольшой проект - это когда команда из нескольких человек работает считанные месяцы.
Обычно вовлеченность внутренней команды должна быть не менее 10% от вовлеченности ресурсов подрядчика.
Обычно удается выделить до 10 стейкхолдеров на стороне заказчика, из них до 5 является критически важными. На этапе скоринга проектов они обычно существенно вовлечены в оценку. По каждому из предварительно отобранных проектов несколько представителей заказчика должны выразить свое мнение, для этого каждый из стейкхолдеров должен составить свое мнение по проекту. Здесь очень важна роль key account manager (у нас - системного инженера) - человека, который удерживает в голове всю совокупность граней проекта. На этом этапе обычно отпадает половина проектов.
После такой оценки стейкхолдерами можно переходить к следующему этапу оценки. Обычно на этом этапе остается 3-5 проектов. И тут уже надо подключать всех остальных стейкхолдеров, которые еще не успели принять участие в оценке проектов.
Два-три месяца - это средний срок от первого знакомства до определения того. что будет делаться. И еще примерно столько же времени уйдет на следующий этап - детализацию проекта: эффекты, требующееся железо, инфраструктура, закупки. Итого общий срок подготовки к проекту составляет полгода.
Важно договориться с предприятием о том, какие именно численные эффекты от проекта будут признаны.
Для снижения рисков мы используем адаптивную stage-gate практику, когда мы разбиваем проект на этапы:
- предпроектное исследование
- PoC
- MVP
- опытно-промышленная эксплуатация
- массовое тиражирование и промышленная эксплуатация.
Для каждого этапа в его начале должны быть определены триггеры, характеристики результата, которые определят продолжается проект или нет.
В реальной жизни на производстве сложно провести А/Б тестирование в чистом виде. Поэтому сложно отделить эффект, который получился в результате внедрения, от многих других факторов. Необходимо согласовать модель того, как рассчитывается эффект - модель технико-экономического обоснования. Если модель и действительность сходятся, то можно переходить на следующий этап.
Порядка 15% проектов закрывается после стадии РоС. Модель не подтверждается. Таким образом, закрывая проект на ранней стадии мы минимизируем расходы, пока они еще небольшие.
Обычно, на этапе знакомства выбирается одна идея для реализации, впоследствии на предприятии могут “жить” уже три-четыре идеи.
Нецелесообразно запускать одновременно много проектов, поскольку сразу много проектов на одинаковой фазе “выедают” дефицитный ресурс, необходимый именно для этой фазы. Смещение запуска проектов на два три месяца относительно друг-друга гораздо лучше балансирует ресурсы - системных инженеров, data scientist и т.д.
Когда мы притираемся друг к другу с заказчиком на первом проекте, мы узнаем конкретных людей, с которыми далее будем работать. Самое первое знакомство - самое трудное и самое долгое. Запуская одновременно три проекта, мы эти затраты несем одновременно на трех проектах. Если проекты запускаются с небольшим отставанием, то самую дорогую цену за обучение коммуникациям мы платим на первом проекте. Это существенно влияет на скорость получения эффектов и выживаемость проектов.
Есть две стратегии. Есть стратегия ранних последователей, которые пробуют новинки раньше остальных. Есть консервативная стратегия, когда внедряют только то, что уже точно было обкатано другими. Первая стратегия труднее в реализации, требует большей проактивности, более высокой квалификации людей, которые этим занимаются, большей склонности к риску.
Чтобы перейти из консерваторов в инноваторов нужно учиться, учиться и учиться, любой навык достигается упражнениями. Здесь критически важна воля вышестоящего руководства. Если глава корпорации не разделяет эту позицию, то с низов она не поднимется.
