76 подписчиков

💬 Кто такие Дата-инженеры (DE) и чем они занимаются?

Анализ данных - это работа аналитика, про которую я вам постоянно рассказываю. Но также я часто пишу про такие темы как ETL, батч и стриминг обработка данных, которые относятся уже к работе инженеров данных. Давайте обозначим кто и и чем занимается на проектах:

Аналитик данных

📍 оценка качества данных и подготовка данных для анализа (например, создание витрин данных)

📍 написание гипотез и непосредственно анализ данных (расчет метрик, проведение статистических экспериментов, описательный или прогнозный анализ данных)

📍 интерпретация результатов анализа для бизнеса, создание отчетов, дашбордов

Инженер данных

📍разработка потоков данных (ETL/ELT) и их автоматизация (чтобы данные из одного места автоматически попадали в другое место: например из CRM-системы в корпоративное хранилище)

📍настройка мониторинга работоспособности потоков данных (мало сделать сам поток, нужно чтобы он работал стабильно и качественно, а в этом может помочь мониторинг сбоев)

📍 оценка качества данных и подготовка данных для анализа (да, этим также как и аналитики могут заниматься инженеры данных)

Различие компетенций аналитика и инженера наглядно показано на картинке в посте

Упрощенную, но очень наглядную схему взаимодействия аналитика и инженера можно описать так:

1️⃣ Аналитик узнал у бизнеса какую задачу анализа требуется выполнить, перевел запрос бизнеса на техническое описание задачи (ТЗ - какие данные и где взять, в каком виде положить и как часто обновлять)

2️⃣ Инженер данных получил ТЗ от аналитика и выполнил его

3️⃣ ТЗ выполнено, аналитик получил данные, проанализировал, отдал результаты анализа бизнесу. Все счастливы и сделали свои куски работы

Рекомендую подписаться на канала Евгения "Я - Дата Инженер", если вы хотите еще больше узнать про работу инженера данных и какие навыки для этого нужны. Он кстати тоже работает в Сравни 😎

У него на канале есть огромное количество полезного материала:

🔗 Roadmap для Data Engineer

🔗 Видео про Hadoop HDFS

🔗 Канал на Youtube с подробными техническими видео про инструменты DE

💬 Кто такие Дата-инженеры (DE) и чем они занимаются? Анализ данных - это работа аналитика, про которую я вам постоянно рассказываю.

1 минута

21 октября 2024