Найти в Дзене
stas.chernoguzov

Небольшое резюме по работе за месяц

В ответ на пост ... по поводу врыва 🤣 Небольшое резюме по работе за месяц: 1️⃣ В части ETL подняли даг генератор на AirFlow - можно не парится с источниками и аналитикой, достаточно в конфиг добавить таблицу и указать поля, если нужно, даг подхватит и будет грузить данные.👍 2️⃣До визуализации дотянул 12 отчетов - это была задача на всю испыталку(зафорсил получается) 🤔 3️⃣Столкнулись со сложностью формирования core слоя так как реальных данных нет. Сегодня устраивали брейншторм, как это можно решить. Зафиксировали шаги😠 4️⃣Нарисовал кучу схем "to be" покрыв etl, dwh, use cases + роудмеп на команду разработки. 5️⃣С ребятами решили переформатироваться с python разработчиков до data engineers, это уже интересный кейс получается) В целом, я доволен результатом, но понимание, что в следующий раз это получится еще качественнее и быстрее очень меня радует 🙂 Как вы считаете по поводу переформатирования команд? Норм не норм? Если у них есть желание и есть пул работ?

В ответ на пост

... по поводу врыва 🤣

Небольшое резюме по работе за месяц:

1️⃣ В части ETL подняли даг генератор на AirFlow - можно не парится с источниками и аналитикой, достаточно в конфиг добавить таблицу и указать поля, если нужно, даг подхватит и будет грузить данные.👍

2️⃣До визуализации дотянул 12 отчетов - это была задача на всю испыталку(зафорсил получается) 🤔

3️⃣Столкнулись со сложностью формирования core слоя так как реальных данных нет. Сегодня устраивали брейншторм, как это можно решить. Зафиксировали шаги😠

4️⃣Нарисовал кучу схем "to be" покрыв etl, dwh, use cases + роудмеп на команду разработки.

5️⃣С ребятами решили переформатироваться с python разработчиков до data engineers, это уже интересный кейс получается)

В целом, я доволен результатом, но понимание, что в следующий раз это получится еще качественнее и быстрее очень меня радует 🙂

Как вы считаете по поводу переформатирования команд? Норм не норм? Если у них есть желание и есть пул работ?