Инженеры по обработке данных, мыслящие как менеджеры по продуктам, создают более ценные, надежные и ориентированные на пользователя системы обработки данных; они сосредотачиваются на результатах, ответственности и пользовательском опыте, а не только на конвейерах обработки данных.
Сегодня работа инженера данных гораздо сложнее, чем просто создание конвейеров и платформ. Инженеры данных больше не просто конструкторы; теперь они играют важнейшую роль в создании ценности в организации, ориентированной на данные. Однако многие инженеры по-прежнему оценивают успех, используя количество выполненных заданий и созданных таблиц, а не их реальную ценность для бизнеса.
Вот где пригодится подход менеджера по продукту (PM). Принятие образа мышления менеджера по продукту — это не управление досками Jira и маркетинговыми планами. Это рассмотрение данных как продуктов, включающих клиентов, жизненный цикл и ощутимые результаты.
Переход от pipelines к продуктам
Долгое время команды инженеров по обработке данных организовывались по проектам. Поступает бизнес-запрос, инженеры создают конвейер обработки данных, данные перемещаются в хранилище данных, и команда переходит к следующему запросу. Хотя такой способ работы и позволяет получать данные, он не обеспечивает желаемых бизнес-результатов.
Скорее, подход, ориентированный на продукт, предполагает следующий вопрос:
- Кто является получателем этой информации?
- Каковы преимущества для бизнеса?
- Каков уровень внедрения и получения обратной связи?
- Как нам поддерживать, развивать и ответственно избавляться от этого?
Эти решения эффективно преобразуют «конвейеры данных» в продукты на основе данных — авторитетные, легкодоступные и многократно используемые компоненты, разработанные для выполнения конкретных функций.
Это основная концепция, лежащая в основе современных подходов, таких как Data Mesh, в которых каждая область управляет своими данными как продуктом. Однако даже в централизованных командах продуктовое мышление может значительно улучшить согласованность действий и качество.
Данные как продукт: ментальная модель
Значительные перемены происходят, когда инженеры рассматривают данные как продукт.
Повышение ответственности и подотчетности
У каждого продукта, основанного на данных, есть ответственный за его точность, полезность и жизненный цикл. Подобно менеджерам проектов, инженеры данных теперь несут ответственность за надежность и эффективность своих продуктов, наборов данных и конвейеров обработки данных.
Больше нет места фразе «это вина команды-источника» — ответственность подразумевает ответственное управление.
Четкое определение клиентов
Самосознание — это продукт без пользователей; данные без потребителей — это шум.
Тип пользователей, обращающихся к вашим таблицам — аналитики, специалисты по обработке данных, команды машинного обучения — определяет оптимальную настройку схемы, актуальности и доступности данных. Инженеры данных, работающие с такими пользователями, создают более совершенные системы и еще больше сокращают необходимость в доработке.
Удобство использования и документация
Рассматривайте набор данных как разновидность API. Если его можно понять, значит, он неисправен.
Инженеры по обработке данных, ориентированные на продукт, выступают за создание легкодоступных, самодостаточных и самодокументируемых наборов данных, обеспечивая наличие метаданных, которые предоставляют контекст и указывают на назначение каждой таблицы или потока.
Обратная связь и итерация
Успешные менеджеры по продукту дорабатывают продукт, основываясь на отзывах клиентов. Инженеры данных также должны поступать аналогично.
Данные об использовании, обратная связь из Slack и показатели производительности панели мониторинга позволяют получить показатель NPS (Net Promoter Score).
Набор данных, который не подвергается запросам и которому не доверяют, обеспечивает обратную связь, а не приводит к сбою.
Применение продуктового мышления к рабочим процессам обработки данных
Определение показателей успеха
Менеджер по продукту определяет успех как результат, например, вовлеченность и удержание пользователей.
Аналогичным образом инженеры данных могут отслеживать:
- Показатели внедрения: количество потребителей, количество запросов на набор данных.
- Надежность: соглашения об уровне обслуживания (SLA), количество разрешенных инцидентов.
- Ценность: Отчеты или модели машинного обучения, влияние на ключевые показатели эффективности бизнеса.
Успех достигается тогда, когда решение принимается на основе набора данных, а не тогда, когда работа выполнена.
Планы действий, а не списки задач
Многие команды, работающие с данными, слишком долго находятся в режиме реагирования на происходящее. Они выдвигают и выполняют спонтанные запросы, практически не задумываясь над их решением. Необходимо внедрить продуктовый подход в разработку дорожных карт, который стремится сбалансировать инновации и поддержку.
Что произойдет сейчас, дальше и позже:
- Сейчас: Исправлены критически важные ошибки, касающиеся процесса сбора и качества данных.
- Далее: Многоуровневые модели данных в сочетании с часто используемыми и повторно применяемыми функциями.
- Позже: Новые эвристические методы для получения прогнозных данных и организации экспериментальных процессов.
Такой подход к распределению времени и ресурсов помогает информировать заинтересованные стороны о приоритетах команды и направлять усилия команды на достижение запланированных результатов.
Качество данных как проблема пользовательского опыта
Пользователи часто отказываются от неисправных и глючных продуктов. То же самое можно сказать и о данных, которые считаются бесполезными.
Менеджеры данных, работающие в сфере управления проектами, считают качество данных вопросом пользовательского опыта. Отсутствующие значения, несогласованные ключевые системы и низкая актуальность данных делают их устаревшими и не стоят затраченных усилий.
«Принципы пользовательского опыта в работе с данными» призваны помочь в этом:
- На ранних этапах обработки исходных данных с помощью модульных тестов выявляйте некорректную информацию.
- Для проблемных областей должны быть доступны панели мониторинга состояния данных.
- Изменения следует сообщать в контролируемом по версиям формате.
- Достоверные данные внушают пользователям доверие, что помогает создавать продукты, которые будут радовать их долгие годы.
Преимущества работы в группах по сравнению с индивидуальной работой
В большинстве организаций инженеры работают практически без взаимодействия с аналитиками или бизнес-пользователями.
Однако подход, характерный для управления проектами, предполагает объединение различных функций для совместной работы. Инженеру по обработке данных следует уделить время ответам на следующие вопросы:
- Какие ключевые показатели эффективности (KPI) имеют решающее значение для маркетинга и финансов?
- Как осуществляется доступ к данным и их использование (панели мониторинга, API, модели машинного обучения)?
- Какие проблемы возникают у пользователей данных?
Именно это понимание позволяет инженерам создавать системы, которые решают реальные проблемы, а не просто передают данные.
Устаревание наборов данных и управление жизненным циклом
Завершение разработки новых функций ответственно осуществляется менеджерами по продукту. То же самое должны делать и инженеры данных.
Каждый набор данных проходит определенную эволюцию. От его создания до поддержки и, наконец, устаревания, пропуск последнего этапа делается просто «на всякий случай». Речь идет о сохранении устаревших таблиц. Такая практика засоряет каталоги данных и затрудняет доступ к данным для пользователей.
Установите сроки прекращения поддержки существующих функций, а также добавьте уведомления, касающиеся версионирования и миграции.
Лучше собрать продукт, который хорошо упакован и обслуживается, чем тот, который собран наспех и постоянно обновляется.
Проблемы, связанные с изменением мышления: от созидателей к тем, кто способствует этому.
Эти изменения даются сложнее всего, не из-за технологий, а скорее из-за отношения к ним.
Необходимо перейти от мышления, ориентированного на исполнение («создать то, что требуется»), к мышлению, ориентированному на результат («предоставить то, что необходимо»). Это болезненное изменение, требующее определённого отношения.
Лидеры могут помочь в этом, выполнив следующие действия:
- Необходимо, чтобы инженеры сосредоточились на выполнении бизнес-задач, а не просто на подсчете pipelines.
- Содействие прямому общению с пользователями данных.
- Поддержка групп, создающих информационные ресурсы, которые являются самообслуживаемыми, зарегистрированными и легкодоступными для повторного использования.
Эволюция культурного мышления в отношении продуктов, основанных на данных, берет начало в зрелых организациях, занимающихся обработкой данных, и существенно отличается от организаций, реагирующих на уже существующие ситуации.
Почему это важно в 2026 году
Совокупность экосистем развивается по мере экспоненциального роста экосистем продуктов и данных. В отсутствие структурированного мышления организации деградируют до разрастания данных, дублирования таблиц и документации и быстрого подрыва доверия.
Мышление как у менеджера по продукту:
- Ответственность: Каждый набор данных определяется, ему присваивается назначение и назначается лицо, которое им управляет. Придается право собственности.
- Надежность: Потребители понимают, что именно они получают.
- Переработка: Восстановление информационных ресурсов исключается, когда команды ищут новые ресурсы.
- Доход: Модернизация продукта приносит организации положительную денежную выгоду.
Это эволюционная разработка данных, в которой первостепенное значение имеет построение конвейеров обработки, за которым следует передача ценности в более крупном масштабе.
Заключительные мысли
Инженерия данных не определяется размером кластера или количеством обработанных заданий. Она проистекает из согласования ценностей, о чем свидетельствует измеримое влияние компании.
Когда инженеры по обработке данных обращаются к менеджерам проектов, они становятся архитекторами ценности, а не полагаются на конвейеры обработки данных.
В 2026 году самые опытные инженеры по обработке данных будут делать больше, чем просто создавать таблицы. Результаты будут просто невероятными.
Показатели успеха меняются: вместо обработки большого объема данных теперь используется завоевываемое доверие, а следовательно, и улучшающееся принятие решений.
#DST #DSTGlobal #ДСТ #ДСТГлобал #обработкаданных #инженер #менеджеры #конвейерыданных #Инженерыданных #Slack #KPI