Найти в Дзене
ГлавнаяСтатьиПодборки
Закреплено автором
CODERIKK
Немного познакомимся и я расскажу о себе и своем опыте. Меня зовут Егор, мне 26 лет 🫶🏼 Мои основные специализации: - Программист, разработчик - BI-аналитик, аналитик данных  - Data Scientist (DS, DA, DE) Имею 2-а красных диплома 📕 Опубликовано 11 научных статей 📚 Зарегистрировано 3 рационализаторских предложения 📔 Большой опыт работы с библиотекой Pandas и библиотекой визуализации Matplotlib. Имею опыт работы с NLP (обработка естественного языка) в данном направлении начинал работу с машинным обучением, например, такие задачи как классификация отзывов по темам и определение настроение пользователя. Занимался парсингом новостных сайтов и отзовиков, проводил анализ отзывов и мнений, поиск ошибок и неисправностей. XML парсинг RSS лент. Разработал несколько полноценных, полнофункциональных Telegram-bot'ов на основе ИИ - Python асинхронных библиотек с использованием ChatGPT с регистрацией, верификацией по почте и различными моделями взаимодействия и сохранением контекста, с проектированием, реализации и использовании баз данных PostgreSQL и MySQL, размещенный на своём сервере под управлением системы Ubuntu. Разработал Desktop утилит для торговых предложений, отслеживания товаров внутри одного предприятия на основе разработанного графического интерфейса. Дипломы написаны по теме "Computer Vision" основной задачей которых было обнаружение и идентификация личности или объекта задачи. Также интересной задачей был поиск погрешностей и отклонений процесса за счет средств технологии Graph Mining (Process Mining). Опыт работы с Docker, в связи с переносом проекта на различные НРТК (наземных робототехнических комплексов) на основе Raspberry PI и Arduino. Опыт написание простых сайтов на основе Flask с применением SQLAlchemy. Опыт работы с Git и свои репозитории на GitHub и GitLab. Навык работы с Linux. Знание алгоритмов машинного обучения, искусственного интеллекта, статистики, ООП. Работа с Yandex Cloud и DataLens. Все это только небольшая часть моего опыта 🤭 Подпишись на мой Telegram-канал и развивайся в сфере IT без курсов, все просто и наглядно: CODERIKK
2 года назад
Статьи
🔹 Pandas: читать и фильтровать CSV легко
🔹 Как быстро загрузить CSV (Comma-Separated Values) в pandas и отфильтровать данные? 🔸 read_csv нужен, чтобы корректно и эффективно превратить CSV в DataFrame: задать типы, парсить даты и экономить память — иначе данные будут медленными и ошибки появятся при фильтрации. 🔸 Оптимизация чтения: usecols ограничивает колонки, dtype фиксирует типы, parse_dates парсит даты, na_values задаёт пропуски, chunksize читает по частям. 🔸 Фильтрация DataFrame: булева индексация для сложных условий, ...
9 часов назад
🔹 Data Lakehouse: что и зачем
🔹 Чем Lakehouse отличается от просто Lake или DWH? 🔸 Data Lakehouse решает практическую проблему: нужно дешёвое, масштабируемое хранение сырых данных и одновременно надёжные транзакции и быстрые аналитические запросы. Без этого часто дублируют данные и теряют консистентность. 🔸 Delta Lake приносит ACID (атомарность, согласованность, изоляция, долговечность) поверх файлового хранилища: это даёт гарантию целостности при upsert/stream и поддерживает согласованные снимки для аналитики...
1 день назад
🔹 NoSQL vs SQL и pandas: итоги недели
🔹 Что выбрать для конкретной задачи — реляция, гибкость или единое хранилище? 🔸 NoSQL vs SQL появились потому что разные данные требуют разных компромиссов: SQL (Structured Query Language) даёт строгую схему и сильную согласованность, NoSQL (Not Only SQL) — гибкость и горизонтальную масштабируемость. Без правильного выбора данные быстро станут тяжёлыми для изменений и аналитики. 🔸 Data Lakehouse решает проблему дублирования и разрыва между сырыми данными и аналитикой: объединяет Data Lake и хранилище, чтобы хранить сырьё и одновременно давать структуру для BI...
2 дня назад
🔹 Баланс для Data Engineer — не миф
🔹 Как не сгореть при on-call и постоянных миграциях? 🔸 Постоянные срочные инциденты и переключения контекста ломают рабочий ритм и ведут к выгоранию. Баланс нужен, чтобы сохранить качество данных и умение решать сложные баги без усталости. 🔸 Тайм-менеджмент: блоки глубокого фокуса, короткие окна для встреч и правила on-call (ограничение времени реакции, эскалации). Планируй рефакторинг вне on-call окон. ETL (Extract, Transform, Load) — ставь его в утренние окна, когда голова свежа. Mon-Fri...
2 дня назад
🔹 Persona в промпте: роль «эксперт» без хаоса
🔹 Как задать в запросе роль — например «эксперт» — и зачем это нужно? 🔸 Решение проблемы: без явной persona модель даёт разный уровень детализации и стиль. Persona фиксирует очки зрения и тон, чтобы ответы были последовательны и полезны. 🔸 Помещаем роль в system message (системное сообщение): коротко опишите роль, ограничения и стиль (role-play). Пример: system: "You are a Data Engineering expert. Отвечай как практикующий инженер, стиль — технический, кратко...
3 дня назад
🔹 Гонка состояний: кто успеет первым
? 🔹 Что такое race condition и почему порядок (order) операций ломает результат? 🔸 Race condition — ошибка, когда параллельные задачи меняют общее состояние без синхронизации; результат зависит от непредсказуемого порядка выполнения, и данные «теряются» или становятся неконсистентными. 🔸 Симптомы: нерепродуцируемые баги, пропавшие обновления, поведение меняется с нагрузкой; встречается в потоках, процессах, асинхронном коде и транзакциях. 🔸 Locking и mutex (mutual exclusion — взаимное исключение) решают проблему, сериализуя доступ к критической секции...
4 дня назад
🔹 Data Governance: основы
🔹 Что решает управление данными? 🔸 Управление данными предотвращает хаос: без правил разные команды дают разные отчёты, модели работают на плохих данных и интеграции ломаются. 🔸 Политики — набор правил доступа, хранения и удаления данных; они ставят рамки безопасности и соответствия. 🔸 Качество — проверки на точность, полноту и актуальность; если его нет, аналитика и автоматизация приносят ошибочные решения. 🔸 Метаданные — карточки ресурса: таблица, поля, тип, уровень чувствительности...
5 дней назад
🔹 NULL: не баг, а состояние
🔹 Как работать с NULL в SQL (Structured Query Language)? 🔸 NULL обозначает отсутствие или неизвестность значения. Без него вы не отличите "пустую строку" от "нет данных", и это ломает подсчёты, джойны и логические проверки. 🔸 Для проверки используйте IS NULL / IS NOT NULL. Сравнение с = NULL не работает — возвращает NULL, а не true/false, и даёт неверные результаты. 🔸 COALESCE возвращает первый ненулевой аргумент и подставляет дефолт вместо сложных CASE-ов — удобно при выдаче значений по умолчанию...
6 дней назад
🔹 Срезы списков и строк — быстро
🔹 Как взять часть строки или списка без копирования всей структуры? 🔸 Срез (slice) нужен, чтобы взять подпоследовательность: start:end задают границы. Это решает проблему длинных ручных циклов и лишних временных переменных. 🔸 Отрицательный индекс (negative index) считает с конца: -1 — последний элемент, -2 — предпоследний. Удобно, когда нужен конец без вызова len(). 🔸 step управляет шагом: start:end:step...
1 неделю назад
🔹 Мониторинг задержек данных — гонка с часами
🔹 Как в реальном времени отслеживать data latency (задержку данных)? 🔸 Data latency нужна, чтобы заметить, когда потоки или ETL дают устаревшие данные — без этого отчёты и ML модели будут работать с «прошлой» картиной и бизнес примет неверные решения. 🔸 Как измерять: метрика lag = now() - max(event_time) по источникам/партициям; собирайте её регулярно и храните как time-series. SELECT source, now() - max(event_time) AS lag FROM events GROUP BY source; 🔸 Monitoring: в dashboard...
1 неделю назад
🔹 Итоги недели: практические штрихи
🔹 Что разобрали и зачем это важно? 🔸 OLTP (Online Transaction Processing) vs OLAP (Online Analytical Processing): существуют чтобы разделять нагрузку — OLTP для быстрых операций (покупки, записи), OLAP для тяжёлой аналитики. Без разделения аналитика замедлит операции и исказит отчёты. 🔸 SQL (Structured Query Language) инъекция: проблема — неподготовленный ввод позволяет менять запросы и красть/портить данные. Защищаемся параметризированными запросами, ORM и строгой валидацией входа. 🔸 Python списки: зачем — гибкая упорядоченная коллекция для накопления и обработки данных...
1 неделю назад
🔹 Пакетная обработка (batch) — просто о важном
🔹 Почему нужен batch/offline? 🔸 batch позволяет обрабатывать большие объёмы данных без требования real-time, чтобы не перегружать онлайн-систему и избежать неконсистентности данных. 🔸 Это оффлайн (offline) режим: данные собирают, накапливают и прогоняют пачками — так проще планировать ресурсы и делать тяжёлые трансформации. 🔸 Применяют для ETL (extract-transform-load), агрегирования и очистки; запускают по расписанию с помощью cron как ночную загрузку...
1 неделю назад