PostgreSQL + Airflow + Github - как устроена инфраструктура на курсе
В рамках обучения ученики будут работать в построенной инфраструктуры, которую описал на схеме.
PostgreSQL - используется как аналитическое хранилище, в котором данные разделены по слоям хранения.
RAW - сырые данные, которые динамически обновляются
CORE - общие преобразованные данные в чистые таблицы
MART - слой витрин, который каждый ученик будет разрабатывать в рамках практики
Apache Airflow - автоматизирует процесс сборки таблиц и витрин через DAGи. что это и как писать разбираем в теории и практике.
GitHub - у каждого есть свой рабочий репозиторий, который играет 2 задачи
- хранение скриптов со всей логикой сборки данных
- создание и деплой DAG в Airflow для написания автоматизации
Если не было раньше практики с git, не проблема, на курсе все разбирается
Такая практика и погружение в реальные инструменты позволяет максимально прокачать твои харды! 🔥
Чтобы у тебя даже в мыслях не было сказать
- "я не уверен в своих знаниях"
- "я не силен в технических навыках"
- "я могу решать только простые задачи"
Если что-то непонятно, пишешь вопросы, я веду группу учеников лично
