Если что-то не получилось, есть маленький шанс, что задуманное — невыполнимо. Рассказываем, как производитель хлебобулочной продукции хотел систему, которая должна была сделать невозможное. И о реальной пользе ML-моделей для бизнеса.
ML-модель — это алгоритм, который на основе предоставленной информации выявляет закономерности и строит прогнозы. После обучения на тренировочной выборке данных ML-модель используется для анализа, систематизации и оценки новой информации. Это позволяет «поручать» ей множество задач — от распознавания изображений до прогнозирования поведения клиентов.
Неуспешный кейс: обеспечить супер-точность
Для кондитерско-булочного комбината нужно было разработать систему прогнозирования продаж на основе имеющихся у производителя данных. От модели требовалось учитывать факторы, влияющие на продажи: дни недели, акционные товары, сезонность (ежедневную, недельную, квартальную), праздничные дни, покупательскую способность, изменение цен и др.
Пилотный проект длился около двух недель. В планах заказчика было опробовать в действии ML-модель с учетом 25 основных параметров, значимых для продаж. Получался слишком большой объем работы для тестового варианта, поэтому специалисты на стороне SL Soft предложили сосредоточиться на пяти пунктах — тренде (описывающем долговременные изменения); сезонности (описывающей периодические колебания); влиянии праздников и событий; акциях и промо-активностях, а также шуме (ошибочная, случайная или нерелевантная часть данных, которая усложняет обучение и снижает точность прогнозов).
Несмотря на все препятствия (частые корректировки данных и факторов прогнозирования со стороны заказчика), тестовая версия модели была представлена заказчику с демонстрацией всех функциональных возможностей. Демоверсия модели показала результат прогнозирования с точностью 84%. Это считается высоким результатом. Однако команда кондитерско-булочного комбината сообщила, что рассчитывала лишь на 2% неточностей.
Это стало настоящей неожиданностью: подобный показатель технически невозможен, даже в мировой практике, особенно для таких сложных временных показателей, как продажи. Производитель не захотел отказываться от своих представлений о том, как должны работать ML-модели. А мы решили использовать этот опыт, чтобы нивелировать нереалистичные ожидания от технологии на будущее.
Почему точность ML-модели для прогнозирования не может быть 98%
Прогнозирование продаж на основе ML-моделей редко достигает точности 90%, и это объясняется несколькими причинами:
Во-первых, бизнес-среда и рынок динамичны и подвержены влиянию множества условий вне зоны их контроля. Внешние экономические или политические события, изменения спроса под воздействием социальных факторов (резкая популярность Лабубу), природные катаклизмы или непредвиденные события (пандемия) — все это влияет на результаты. Добавим сюда возможные ошибки в исторических данных, человеческий фактор при их внесении, неполные данные — это мешает модели.
Во-вторых, точность прогнозирования во многом зависит от степени стационарности данных. Стационарными называют показатели, которые «ведут себя» одинаково в любой момент времени, вне трендов или не подвержены периодическим изменениям. Дело в том, что ML-модели часто опираются на предположение, что закономерности в данных стабильны, и будущие значения прогнозируются по тем же правилам, что и предыдущие. Поэтому если данные нестационарны (подвержены непредвиденным трендам, имеют сложную сезонность и изменяющуюся дисперсию), модель может делать ошибочные прогнозы.
В-третьих, сложность создают шумы. ML-модель пытается найти закономерности в данных, а шумы мешают ей увидеть реальные зависимости, из-за чего она может «запоминать» несущественные детали и делать неверные прогнозы.
При этом, попытка увеличить точность ML-модели до очень высокого уровня часто приводит к переобучению — ситуации, когда система слишком хорошо запоминает тренировочные данные и поэтому плохо работает с новой информацией. В результате, модель показывает отличные результаты на известных данных, но плохо справляется с «незнакомыми», ранее не виденными.
Кроме того, метрики, используемые для оценки точности модели (например, MAPE — средняя абсолютная процентная ошибка), показывают, насколько в среднем прогнозы отклоняются от фактических значений, но не всегда отражают реальную пользу в денежном выражении и бизнес-ценности. Для более точного прогнозирования на этапе разработки модели необходимо из огромного количества разных метрик, подобрать именно ту, которая подойдет конкретному решению.
Представим игру в дартс. Бизнес часто думает, что прогнозирование — это один точный бросок в цель. На самом деле для качественного предсказания нужно сделать несколько бросков, провести анализ и понять, что не получится постоянно попадать в середину мишени, зато есть возможность выработать набор действий, который поможет стабильно попадать рядом с ней и в дальнейшем работать уже с этими результатами. То есть важно, чтобы прогноз не просто выдавал точные цифры, а помогал принимать правильные для бизнеса решения, увеличивать прибыль и минимизировать убытки.
Зачем тогда бизнесу системы для прогнозирования продаж
Ценность ML-модели заключается не в том, чтобы дать 100% результат — это, по сути, уже умение читать будущее, а в том, чтобы значительно снизить неопределенность и быть гораздо точнее, чем любой существующий метод (условно — интуиция опытного пекаря или расчет «по среднему за прошлый месяц»).
Главное преимущество ML — способность обрабатывать и анализировать огромные объемы данных с высокой скоростью и непредвзятостью, что невозможно сделать вручную. Такие системы позволяют автоматизировать процессы, выявлять скрытые закономерности и принимать взвешенные решения.
Так, например, система Polymatica ML может взять на себя целый спектр задач:
- прогнозировать спрос (чтобы самые популярные булочки и французский багет всегда были в наличии, и в то же время не приходилось списывать «Бородинский»);
- оптимизировать закупки сырья (например, дорогостоящую начинку для «улиток»);
- оптимизировать графики производства и логистику (сколько пекарей выводить в смену, как строить графики и маршруты доставки, чтобы к пиковому спросу все было на полках);
- персонализировать маркетинг (сегментировать покупателей, понять, какой хлеб лучше продается вместе, как меняются вкусы покупателей в разных городах).
И множество других примеров, актуальных для компаний иного профиля — выявлять вероятность потери клиентов; определять проекты, которые не будут завершены в срок; рассчитывать количество брака на производстве; снижать складские издержки и т.д.
Все это повышает эффективность и конкурентоспособность бизнеса. Для его развития важна не абсолютная точность прогнозов, а стабильность и способность модели адаптироваться к изменениям. На практике, ML-модели помогают существенно повысить качество прогнозов по сравнению с классическими методами. Они дают бизнесу преимущество, позволяя быстрее реагировать на изменения, минимизировать риски и находить новые возможности для роста.