дата инженеретта

Опубликовано фото

rows between Когда я в декабре решала Advent of SQL, на 11 день было интересное задание - найти скользящее среднее по текущей строке с двумя предыдущими. Еще похожая штука применяется, когда нужно найти кумулятивную сумму 🚃 Выход - оконка! (но только в целях SQL) Мы можем написать так: avg(amount) over(order by column) Но под капотом это так: avg(amount) over(order by column rows between unbounded preceding and current row) т.е. мы стартуем с первой строки и берем все до текущей Всего есть несколько способов тюнинга: --от первой до текущей rows between unbounded preceding and current row --от текущей до последней rows between current row and unbounded following --с конкретикой - сколько до и сколько после --от предыдущей до текущей (2 строки) rows between 1 preceding and current row --от текущей до 1 следующей (2 строки) rows between current row and 1 following --от предыдущей до следующей (3 строки, еще текущая есть) rows between 1 preceding and 1 following В контексте задачи со скользящим средним просто нужно взять не 1, а 2 строки: avg(amount) over(order by rows between 2 preceding and current row) А для кумулятивной суммы нужно просто сделать так, потому что по дефолту она и будет кумулятивной✨ sum(amount) over(order by column)

Иди на дата саентиста, там вакансии с ЗП от 300 000₽ Ага, только тебя завалят на первых же задачах с LeetCode. Сотни ребят каждый день сталкиваются с тем, что без подготовки и понимания алгоритмов пройти техническое собеседование — это как пытаться собрать IKEA без инструкции. В этом деле важен опыт: гляньте канал Глеба Михайлова, он прошел больше сотни технических собеседований (съел на этом всех собак 🐕🍽). — Работал в Альфе, Сбере, Ростелекоме — 5 лет являлся наставником в Яндекс.Практикуме — Знает все подводные камни тех. собеседований в ТОП компании Кто, как не он, знает, как пройти техсобесы и не сойти с ума? Если ты хочешь левел-апнуться, больше зарабатывать и от души поржать над байками о работе в Сбере и Альфе от дата саентиста, который вырос из просто аналитика — подписывайся: @mikhaylovgleb Реклама

Стата по моим офферам Довольно многих волнует тема офферов, поэтому я тут поделюсь своей историей 🪐Разделим последний год на 2 hr-кампании, когда я осознанно хотела пособеситься. Каждая кампания длиной примерно 2 месяца: 1️⃣ лето: 02.07 - 06.09 2️⃣ зима: 23.12 - 12.02 ➡️ Первая hr-кампания меня сильно прокачала в плане проведения собственных собесов и научила не быть слепым котеночком. Иногда я ставила даже 2 собеса в день, и моя энергия скатывалась куда-то в минус ➡️ А в зимний период я понимала, что может быть сложно начинать. Но мне сказали, что бюджеты все равно закладываются заранее, так что по сути в начале года ничего не мешает начинать найм ☕️ Итак, смотрим на графички. Не поленилась, прошлась по всей стате на hh и по всем перепискам в мессенджерах😁 Возьмем оранжевую линию за основу - это те вакансии, которые были мне интересны. Конверсия в оффер получилась 8/15 = 53% vs 1/21 = 4,7%. Т.е. зимняя hr-кампания отработала в 11 раз хуже летней. Возможно, с весны эта ситуация меняется? Но я не уверена 👩‍💻 Также есть качественная разница в уровне компаний. Если летом мне писали отсюда: CIAN Альфа МТС Magnit Лента То зимой конкретно все поменялось: Quickly Search WMT Group ИЦ АЙ-ТЕКО Datanomica Trinity Monsters 🗓️ Средняя длительность hr-процесса получилась 10 дней летом vs 18 дней зимой (зааффектили нг каникулы). Включала компании, от которых я получила ОС по итогам собесов, и исключила выброс в виде яндекса - там 63 дня на 3 этапа 👍 Прокомменчу 3 других отказа зимой: Касперский - двх на MS SQL🙂 и я была просто антиметчем их вакансии Билайн - искал топового скалиста🙂 Авито - завалилась на алгосах с NP-полной задачей🙂 🎤 В итоге я пришла к таким выводам: - хоть и количество просмотров увеличилось - но очень много интеграторов, и общее качество компаний упало - отклики на hh не работают (почти), в большинстве пишут сами и поэтому заинтересованы больше, чем если откликаться самому Было страшно подавать заявление, понимая, что на рынке вот такая ситуация, выходить только через месяц, а у меня единственный оффер на руках 🎤 Есть кто сейчас в процессе поисков, какие ощущения?

dbt meetup Когда: 27 марта в 19:00 Формат: онлайн, бесплатно О чем: dbt, Great Expectations, DuckDB Где: https://inzhenerka.tech/dbt_meetup

Deciphering Data Architectures Недавно прочитала книжку "Deciphering Data Architectures" - там всего 275 страниц. Не знаю, есть ли на русском, но на английском читается прям супер легко, где-то за недельку Автор рассказывает про 6 типов архитектур: 🟠DWH 🟠Data Lake 🟠Modern DWH 🟠Data Fabric 🟠Data LakeHouse 🟠Data Mesh Подробно описывается каждый тип, эволюция от одного к другому, плюс база про моделирование, как проводятся архитектурные дизайн-сессии и т.д. Но меня больше всего удивило словосочетание "Data Fabric" - я его в нашем дата-пространстве ни разу не слышала. Кто-то его переводит как "фабрика данных", но у меня в голове осталась четкая ассоциация с "лоскутками данных". Т.е. разные доп. сервисы цепляются друг к дружке, как в лоскутном одеялке 😴 Книжка подойдет, если хотите в своей голове структурировать все эти подходы. Если лень читать так много, то есть статейка с кратким содержанием на полчаса: https://habr.com/ru/articles/822669/

🔵🗣Вырасти до хардового Middle+ аналитика. Как? Добавьте к своим скилам навыки в проектировании архитектуры и интеграций веб-сервисов! Рассмотрите — авторский курс про архитектуру и интеграции с практикой. ————— По результатам курса вы: ▫️научитесь выбирать стиль интеграции под вашу задачу; ▫️сможете проектировать с нуля и описывать интеграции в современных стилях (API: REST, SOAP, gRPC и др. + брокеры сообщений); ▫️поймете, как правильно собирать требования и моделировать в UML; ▫️подготовитесь к собеседованию, решив более 100 тестов; ▫️разработаете свой API на Python; ————— 🟢Вы получите большую базу фундаментальных знаний, доступ к урокам и обновлениям остается навсегда 💡 • Всю программу и отзывы смотрите в боте курса. • Бонусный модуль про проектирование баз данных — нормализация, транзакции, основы DWH, индексы. • Результат после прохождения курса: 15 рабочих проектов в портфолио. • Доступ к чату учеников (общение, обмен опытом, помощь внутри сообщества) 🔹🔹 С чего начать?🔹🔹 С открытых бесплатных уроков по архитектуре и интеграциям в чат-боте курса. Переходите. 👇 @studyit_help_bot Скидка на курс от канала — 1 000₽ по промокоду DATAGIRLIE до конца марта

Закулисье фотостудии Краткая история о моем походе в фотостудию ламоды NB! Нельзя было фоткать, поэтому вот официальный кадр кусочка студии 📌📌📌📌📌 Сейчас сезон, в день привозят 2-3к товаров, а к вечеру они должны появиться в каталоге на сайте ☁️ Есть отдельные стенды для каждого вида съемок: 🩷предметная (аксессуары, обувь) - просто фоткают предметы 🩷обувь только на женской ноге 🩷одежда и предметы на модели 🩷детские вещи, шарфы, парео - тут под углом 45 градусов, чтобы можно было красиво разложить 🩷постельное белье - есть даже матрас 🩷маркетинговые - по каким-то поводам, выездные, готовятся сильно заранее 👻 Обитатели студии: ⏺️фотографы ⏺️модели ⏺️стилисты ⏺️визажисты ⏺️копирайтеры ⏺️ретушеры ⏺️менеджмент ⏺️продюсеры ⏺️креативная группа С моделью работают стилист, визажист, фотограф. Стилисты уже знают, на какой модели какие вещи лучше смотрятся 🎉 Через какие этапы это все проходит: 1️⃣Приемка товара Со складов приезжают много коробок с вещами, заранее считают, сколько их будет, какие категории, сколько нужно моделей и рейлов. Стандартные размеры - 40-42 для одежды, 36-37 для обуви 2️⃣Preparation Вещи распаковываются, гладятся, раскладываются по категориям 3️⃣Mannequin Съемка на манекене 4️⃣Copywriting Копирайтеры готовят карточки товаров 5️⃣Model Съемка на модели. Если что-то не сочетается, то у них есть своя «Нарния» с базовыми вещами В конце дня отсматривают все снимки. Могут поревьюить и сами бренды Вот такая получилась экскурсия)

Песочница для DE Один крутой чел создал песочницу с де-инструментами. Из прикольного там есть Zookeeper, MinIO, Iceberg, MariaDB и даже Grafana. Я сама только походила по репе, но вам советую попробовать поднять все это дело, потыкаться и поделиться, что как оно там Ссылка на репу: https://gitflic.ru/project/ananevsyu/sandbox_db_public Автор: @ananevsyu 😎

Теперь я lamodian☺️ Начинаю эту весну с изменений в своей жизни - теперь я буду дата инженерить в Lamoda Tech🙂 👔 В пн был мой первый рабочий день - провели онбординг в процессы, выдали мак на м3, устроили экскурсию по офису. Я познакомилась с корп сервисами, сразу записалась на фотосессию для профиля и на экскурсию в фотостудию 🥰 Узнала, что на этой неделе будут проходить встречи, мастер-классы и квизы на тему моды, будет день модных вкусняшек и день призов от какого-то бренда. Все очень прикольно, но в офис я ехать больше не хочу - я добиралась 1:20 от двери до двери с двумя пересадками на метро + автобус😱 🥠 На кухоньке есть свежие фрукты, овощи, зона завтрака с мюслями, печеньки и чокопайки, кофеечек, холодос с 4 видами молока, можно сделать тосты 🙂Из удивительного - в офисе есть душевая, а временный пропуск я оформила за пару минут 🙂В конце нам раздали велком-пак: шопер, термокружка, карабин для пропуска и значок. Я познакомилась со своим тимлидом, установила нужные проги, а почти все доступы у меня уже были 📺 Еще я сходила на встречу "collaba", где менеджмент рассказывает про бизнес-инсайты, цифры, бренды, процессы поставок через страны 🛍️ Плюс каждый месяц у меня есть два промика на -15%, кому нужно - пишите)

Хотите научиться автоматизировать процессы обработки данных как в Бигтехе? Чтобы проанализировать большой массив данных, его нужно обработать. Обычно это происходит в три этапа: извлечение, трансформация и загрузка (или ETL). Но чем больше становится данных, тем труднее управлять этим процессом вручную — автоматизировать его можно с помощью Airflow. Чтобы научиться работать с Airflow, приходите на бесплатный вебинар, где Антон Шишков, опытный Software Engineer из бигтех-компании, — поделится с вами своими знаниями и лучшими практиками работы с Airflow на примере автоматизации сбора данных. Что мы будем делать на вебинаре: 🟠 Познакомимся с Airflow: узнаем, как он может упростить работу и повысить эффективность; 🟠 Узнаем об операторах и сенсорах: как использовать для создания гибких и надежных конвейеров данных; 🟠 Напишем базовые и продвинутые DAG'и, чтобы вы могли применить их на практике; 🟠 Разберем, как использовать Docker, FastAPI, Postgres, Clickhouse и Minio для автоматизации ETL-процессов. 🕗Встречаемся 4 марта в 19:30 по мск Зарегистрироваться на бесплатный вебинар

Полезности про Spark 1️⃣Я периодически посматриваю доклады с хайлоада. Один из крутых - «Оптимизация Spark-приложений от простого к сложному. С примерами». По ссылочке можно найти презу: https://highload.ru/moscow/2024/abstracts/13255 2️⃣И тут я поняла, что натыкалась на его же статью про спиллы данных, где подробно на примерах и в картинках это все разбирается: https://habr.com/ru/amp/publications/743292/