76 подписчиков
💬 Кто такие Дата-инженеры (DE) и чем они занимаются?
Анализ данных - это работа аналитика, про которую я вам постоянно рассказываю. Но также я часто пишу про такие темы как ETL, батч и стриминг обработка данных, которые относятся уже к работе инженеров данных. Давайте обозначим кто и и чем занимается на проектах:
Аналитик данных
📍 оценка качества данных и подготовка данных для анализа (например, создание витрин данных)
📍 написание гипотез и непосредственно анализ данных (расчет метрик, проведение статистических экспериментов, описательный или прогнозный анализ данных)
📍 интерпретация результатов анализа для бизнеса, создание отчетов, дашбордов
Инженер данных
📍разработка потоков данных (ETL/ELT) и их автоматизация (чтобы данные из одного места автоматически попадали в другое место: например из CRM-системы в корпоративное хранилище)
📍настройка мониторинга работоспособности потоков данных (мало сделать сам поток, нужно чтобы он работал стабильно и качественно, а в этом может помочь мониторинг сбоев)
📍 оценка качества данных и подготовка данных для анализа (да, этим также как и аналитики могут заниматься инженеры данных)
Различие компетенций аналитика и инженера наглядно показано на картинке в посте
Упрощенную, но очень наглядную схему взаимодействия аналитика и инженера можно описать так:
1️⃣ Аналитик узнал у бизнеса какую задачу анализа требуется выполнить, перевел запрос бизнеса на техническое описание задачи (ТЗ - какие данные и где взять, в каком виде положить и как часто обновлять)
2️⃣ Инженер данных получил ТЗ от аналитика и выполнил его
3️⃣ ТЗ выполнено, аналитик получил данные, проанализировал, отдал результаты анализа бизнесу. Все счастливы и сделали свои куски работы
Рекомендую подписаться на канала Евгения "Я - Дата Инженер", если вы хотите еще больше узнать про работу инженера данных и какие навыки для этого нужны. Он кстати тоже работает в Сравни 😎
У него на канале есть огромное количество полезного материала:
1 минута
21 октября 2024