Данные нужно подготовить
Идеальные данные – это утопия, которая может встречаться только в теории. В реальном мире данные никогда не бывают чистыми.
Самые распространенные проблемы, которые могут возникнуть при работе с данными:
- Неполная информация: пропущенные данные и отсутствие разметки, которые появляются при обработке и записи данных из-за ошибок в программном обеспечении, человеческого фактора или при аварийной потере данных.
- Неверные значения параметров: такие данные могут появляться, например, при неисправности датчиков на производстве.
- Аномальные значения: данные, которые не вписываются в обычный сценарий какого-то процесса, например, увеличение продаж на товары первой необходимости из-за ситуации с коронавирусом.
Для обработки большого объёма данных требуются большие вычислительные мощности, при этом не всегда есть необходимость в работе со всей информацией одновременно. Целесообразно делить данные на удобные для работы и понимания таблицы и исключать избыточную информацию.
Для того, чтобы модель достигла желаемой точности и работала эффективно, данные необходимо подготовить: убрать «шумы», заполнить пропущенные значения, выделить наиболее значимые параметры и т.д. Подготовка данных занимает 80% времени в проектах анализа данных и является самым трудоемким и ответственным этапом в разработке.
Аналитика данных – не решение «из коробки»
У каждой компании уникальные данные, свой способ обработки и хранения, комплекс программного обеспечения и т.д. Всё это требует индивидуального подхода.
Существуют общие методы и принципы, которые могут применяться для различных классов задач, но их чаще всего недостаточно для достижения наилучшего результата.
Необходимо принимать во внимание:
- Технические возможности компании: от этого зависит, как будут передаваться данные, архитектура решения, где будет располагаться конечный продукт – в облаке или на серверах.
- Качество данных: влияет на набор алгоритмов для их подготовки.
- Цели и результат: в зависимости от того, какой результат необходимо получить, применяются различные модели и алгоритмы.
Учитывая особенности проекта, можно получить наиболее эффективное решение.
Все модели ошибаются
Существует распространенное заблуждение, что искусственный интеллект – это идеальная модель, которая никогда не ошибается. Однако это не так. Невозможно получить модель машинного обучения, которая работала бы со стопроцентной точностью.
На точность влияет чистота входных данных, количество и значимость учитываемых параметров, выбранный алгоритм машинного обучения и прочие факторы.
Например, спрос на товар зависит от сезона, тренда, наличия промо-акции, дня недели, погоды, маршрута человека с работы до дома и прочего. Но не все признаки можно учесть при прогнозировании спроса, поэтому во внимание принимаются самые значимые. Основное правило – выдерживать баланс между затраченными усилиями на добавление признака и полученным результатом по качеству модели прогнозирования.
Джордж Бокс, британский статистик, писал: «В сущности, все модели неправильны, но некоторые полезны». Любой алгоритм машинного обучения будет ошибаться, задача – свести ошибку к минимуму и сделать решение эффективным.
Бизнес и наука – два разных мира
Это утверждение касается и аналитики данных.
Научный подход – это поиск новых методов, проведение исследований и экспериментов, проверка гипотез и доказательства. Бизнес – это скорость в решении проблемы и эффективный результат.
Именно поэтому при разработке моделей нужно отдавать приоритет максимально возможной точности, которую можно получить за поставленные сроки, и не углубляться в бесконечный анализ и перебор подходов к решению задачи.
В алгоритмах всегда можно делать какие-то улучшения, но при этом необходимо понимать, что этот процесс может затянуться, а клиенту результат нужен уже сейчас.
Заключение
Подготовка данных, индивидуальный подход к задаче, ошибки моделей, сжатые сроки – это некоторые факты в работе специалистов по анализу данных. Знание этих особенностей при запуске проектов анализа данных позволяет заказчику точно оценивать сроки, формулировать достижимый результат, тем самым снижая риски проекта.