Где развернуть сервис? В контейнере или на виртуалке? Какой планировщик выбрать и как настроить CI/CD для DAG?
Эти и другие вопросы мы обсудим 5 августа на открытом уроке по развертыванию Apache Airflow.
────┈┈┈┄┄╌╌╌╌┄┄┈┈┈────
О популярности DevOps не знает только ленивый. Однако уже не первый год набирает силу другая концепция — DataOps. Она отличается тем, что в разрабатываемые системы, как и в непосредственные процессы разработки, повсеместно внедряют элементы анализа данных.
DataOps (data + operations) — это методология, которая предполагает совместную работу: — команд разработки и эксплуатации IT-систем (DevOps); — инженеров по подготовке данных (data engineer); — исследователей данных (data scientist).
Результат работы — создание инструментов, процессов и организационных структур, которые нужны предприятию, опирающемуся в своей работе на данные.
Принципы DataOps
Как и в случае с DevOps, в DataOps тоже опираются на принципы agile-разработки. В рамках DataOps в приоритете как непрерывная доставка аналитических знаний, так и ориентация на удовлетворенность клиента.
На практике DataOps-группы выдают аналитику, которая имеет практическую ценность и измеряется пользой от предоставленных знаний. При этом DataOps-группы могут работать при постоянном изменении потребностей клиента. Эти группы самоорганизуются для достижения конкретных целей, отдавая предпочтение не трудовым рекордам, а масштабируемости и стабильности и в отношении команды, и в отношении процессов.
Кроме того, одной из главных задач DataOps-групп является обеспечение оркестрации данных, инструментов, сред и кода в масштабах всего проекта. Здесь аналитические конвейеры функционируют по аналогии с конвейерными линиями бережливого производства, то есть большее значение придается воспроизводимости результатов.
Для чего же нужен DataOps?
Резюмируя, скажем, что DataOps представляет собой подход, который направлен на поддержку процессов Machine Learning. К примеру, исследователи данных, если они работают по схеме DataOps, получают возможность продуктивнее взаимодействовать с ПО-инженерами в процессе передачи моделей для развертывания отделу эксплуатации. Однако DataOps машинным обучением не ограничивается. На практике данный подход оказывается полезен практически для любых работ, которые связаны с анализом данных, ведь упрощается применение всех тех преимуществ, которые предоставляются распределенными платформами управления данными. Вдобавок ко всему вышесказанному, DataOps неплохо сочетается с архитектурами, построенными на основе микросервисов.
Источники:
• https://biconsult.ru/chto-takoe-dataops;
• https://www.osp.ru/cw/2018/03/13054002.