3 подписчика

:

🔧 7 инструментов дата-инженера — в одном посте, без воды

👉Kafka — брокер сообщений. Данные летят потоком, система гарантирует порядок внутри партиции. Не заменяет хранилище, не умеет SQL.

👉NiFi — визуальный конвейер. Собираешь поток из блоков мышкой: забрал из Kafka → трансформировал → положил в Greenplum. Без горы кода.

Greenplum — MPP-СУБД на базе PostgreSQL. Запросы выполняются параллельно по сегментам. Сильна в широких джойнах на больших объёмах, чувствительна к перекосам данных.

👉Data Vault — методология моделирования. Бизнес-ключи (Hubs), связи (Links), атрибуты и история (Satellites). Легко добавлять источники, но таблиц становится много — без витрин не обойтись.

👉dbt — трансформации как код. Пишешь SQL, dbt собирает DAG, управляет зависимостями и тестами. Не качает данные, только Transform внутри хранилища.

👉Airflow — оркестратор. Запускает всё по расписанию, следит за ретраями и SLA. Не стримит, но управляет жизненным циклом стриминговых задач.

👉DWH — не один инструмент, а платформа слоями: сырой слой (STG) → согласованное ядро (DDS) → витрины под потребителей (Data Marts).

Если хочешь подробный разбор каждого — есть статья. Какой инструмент вызывает больше всего вопросов? Напишите, сделаю отдельный пост 📝

1 минута

2 дня назад