Пилотные проекты, или проекты Proof of Concept (PoC), с ограниченным
функционалом позволяют получать быстрые результаты и минимизировать
риски ИИ проектов. Главная задача — оценить возможность и качество
модели машинного обучения для решения конкретной бизнес-задачи и
получить план промышленного развертывания решения и внедрение в
бизнес-процесс.
Пример этапов пилотного проекта
Проекты PoC можно выполнить за 2-3 месяца, их стоимость, как правило,
не превышает 1 млн. рублей, поэтому риски по срокам и бюджету
минимальные.
Этап 0. Составление уточненного технического задания (УТЗ)
На этом этапе необходимо сформулировать задачу в цель машинного
обучения, описать структуру и источники данных, а также согласовать
метрику качества модели, критерии успешности проекта для перехода в
стадию промышленного развертывания.
Результатом этапа является подготовленное и согласованное сторонами УТЗ.
Этап 1. Получение данных
Происходит выгрузка данных согласованным между заказчиком и исполнителем способом, проводятся необходимые подключения к БД, если требуется. Для проверки качества модели машинного обучения бывает достаточно исторических данных, поэтому подключаться к базам для получения данных в реальном времени нет необходимости, что может значительно ускорить проверку гипотез и быстрее запускать решения в промышленную эксплуатацию в случае успеха пилотного проекта.
Этап 2. Подготовка данных
Подготовка данных – самый трудоемкий процесс и может отнимать 80%
времени в проектах анализа данных. На этапе проводится выборка, очистка,
объединение, генерация, форматирование данных и пр.
Результатом работ является подготовленный датасет для дальнейшего анализа.
Этап 3. Анализ данных
На этапе производится исследование данных и формулирование гипотез.
Результатом этапа является промежуточный отчет по итогам анализа. В ряде случаев на момент промежуточного отчета обнаруживаются неочевидные
зависимости или вскрываются неисправности, аномалии в процессе, которые
можно легко исправить, но которые без исследовательского анализа данных
явно не детектировались.
Этап 4. Построение моделей и тестирование
На этапе выбираются алгоритмы моделирования (например, регрессия или
нейронные сети), оценивается работа моделей на тестовых данных и выбирается наилучшая модель по критериям качества прогнозирования
(выбранной метрики) и производительности.
Этап 5. Оценка результата
На этапе оценивается результат согласно обозначенным критериям успешности из УТЗ.
Кроме того, заказчику предоставляется отчет:
- с выводами и наблюдениями на основе исследовательского анализа данных, в том числе:определение входных и выходных данных процесса и построение диаграммы потока данных;
корреляционный анализ;
перечень выявленных основных признаков, влияющих на целевую переменную и оценку степени их влияния. - анализ качества полученной модели, в том числе:выводы о достаточности или недостаточности имеющихся данных для построения математической модели.
- рекомендации по развертыванию и обслуживанию решения;
- рекомендации по процессу сбора, хранения и поддержания качества данных.
Эксплуатация и поддержка модели
Работы по внедрению и поддержке модели производятся в случае принятия решения о промышленной эксплуатации.
Этап внедрения, как правило, выполняется по стандартной схеме развертывания ИТ проектов:
Согласование архитектуры решения;
Составление ТЗ на внедрение;
Развертывание;
Передача документации;
Обучение персонала;
Приемо-сдаточные испытания.
В рамках поддержки модели Исполнитель осуществляет постоянный мониторинг, как минимум доступности и точности работы модели.
Следует также принимать во внимание, что модели машинного обучения –
это не статичное решение, которое построив однажды, можно
эксплуатировать на протяжении нескольких лет, ничего не меняя. С
увеличением количества данных, аналитических признаков, влияющих на
объект моделирования, необходимо проводить и обновление моделей для
поддержания их качества работы.