CODERIKK | Дзен

CODERIKK

Немного познакомимся и я расскажу о себе и своем опыте. Меня зовут Егор, мне 26 лет 🫶🏼 Мои основные специализации: - Программист, разработчик - BI-аналитик, аналитик данных - Data Scientist (DS, DA, DE) Имею 2-а красных диплома 📕 Опубликовано 11 научных статей 📚 Зарегистрировано 3 рационализаторских предложения 📔 Большой опыт работы с библиотекой Pandas и библиотекой визуализации Matplotlib. Имею опыт работы с NLP (обработка естественного языка) в данном направлении начинал работу с машинным обучением, например, такие задачи как классификация отзывов по темам и определение настроение пользователя. Занимался парсингом новостных сайтов и отзовиков, проводил анализ отзывов и мнений, поиск ошибок и неисправностей. XML парсинг RSS лент. Разработал несколько полноценных, полнофункциональных Telegram-bot'ов на основе ИИ - Python асинхронных библиотек с использованием ChatGPT с регистрацией, верификацией по почте и различными моделями взаимодействия и сохранением контекста, с проектированием, реализации и использовании баз данных PostgreSQL и MySQL, размещенный на своём сервере под управлением системы Ubuntu. Разработал Desktop утилит для торговых предложений, отслеживания товаров внутри одного предприятия на основе разработанного графического интерфейса. Дипломы написаны по теме "Computer Vision" основной задачей которых было обнаружение и идентификация личности или объекта задачи. Также интересной задачей был поиск погрешностей и отклонений процесса за счет средств технологии Graph Mining (Process Mining). Опыт работы с Docker, в связи с переносом проекта на различные НРТК (наземных робототехнических комплексов) на основе Raspberry PI и Arduino. Опыт написание простых сайтов на основе Flask с применением SQLAlchemy. Опыт работы с Git и свои репозитории на GitHub и GitLab. Навык работы с Linux. Знание алгоритмов машинного обучения, искусственного интеллекта, статистики, ООП. Работа с Yandex Cloud и DataLens. Все это только небольшая часть моего опыта 🤭 Подпишись на мой Telegram-канал и развивайся в сфере IT без курсов, все просто и наглядно: CODERIKK

2 года назад

Новости и мысли

Квинтэссенция знаний SQL

🔹 Итоги недели: многопоточность и оптимизация

🔹 Как threading, GIL и asyncio влияют на оптимизацию кода? 🔸 threading нужен, чтобы параллельно выполнять операции и не простаивать во время ожидания I/O (input/output); без него сеть или диск блокируют поток и приложение тормозит. 🔸 GIL (Global Interpreter Lock) — ограничение CPython, которое мешает настоящему параллелизму для CPU (Central Processing Unit)-bound задач; для тяжёлых вычислений выбирай multiprocessing или нативные расширения. 🔸 asyncio эффективен для множества одновременных...

10 часов назад

🔹 Bootcamp vs self-learning для Data Engineer (middle

) 🔹 Стоит ли идти на bootcamp или учить всё самостоятельно (self-learning)? 🔸 Почему выбор важен: без структуры часто тормозишь — недоделанные проекты и пустое резюме. Bootcamp решает проблему скорости и менторской поддержки, self-learning — проблему глубины и экономии. 🔸 Когда bootcamp помогает: быстро собрать портфолио, получить сертификаты и интервью‑вход; полезен, если нужна дисциплина или нужно выйти на рынок за 2–4 месяца. 🔸 Когда self-learning лучше: если хотите копать глубже или экономить...

17 часов назад

🔹 Метрики качества ответов LLM

🔹 Как понять, хорош ли ответ генеративной модели (LLM — large language model)? 🔸 Метрики нужны, чтобы быстро ловить регрессии и сравнивать версии модели: автоматические дают сигнал на CI, человек проверяет факты и полезность. 🔸 BLEU и ROUGE измеряют n‑gram overlap с эталонными ответами: BLEU — «precision» совпадающих фрагментов, ROUGE — «recall/длинная общая подпоследовательность». Работают, когда есть надёжные референсы, но пропускают корректные парафразы. Пример: эталон «Кошка сидит на ковре», кандидат «На ковре сидит кошка» — высокая перекрываемость, но семантика может быть сложнее...

1 день назад

🔹 Нормализация данных: зачем и как

🔹 Что решает нормализация? 🔸 Нормализация нужна чтобы убрать избыточность и аномалии обновления: без неё данные дублируются и при изменении возникают рассинхроны. Нормализация снижает ошибки и упрощает поддержку. 🔸 1NF (первая нормальная форма) — поля атомарны: нельзя хранить списки в одном столбце. Users(id, name, phones) -- phones: "111,222" Нормализация: Users(id, name) Phones(user_id, phone) 🔸 2NF (вторая нормальная форма) — для таблиц с составным ключом: убираем частичные зависимости, выносим данные, зависящие от части ключа, в отдельные таблицы...

2 дня назад

🔹 Обработка ошибок в ETL: retry и dead-letter (не страшно

) 🔹 Как организовать retry и dead-letter для ETL, чтобы не терять данные? 🔸 Повторные попытки нужны, потому что большинство ошибок — временные (сеть, таймаут, блокировка). Без retry вы теряете записи или получаете неконсистентные состояния; exceptions нужно разделять на retryable и fatal. 🔸 Используйте retry с лимитом и backoff; при исчерпании попыток — помещайте запись в dead-letter queue (DLQ). Обрабатывайте exceptions отдельно: non-retryable сразу в DLQ. Введите идемпотентность и транзакции для consistency...

3 дня назад

🔹 Materialized view: ускоряем запросы без магии

🔹 Когда и зачем применять materialized view? 🔸 materialized view хранит заранее вычисленные результаты (precompute) в отдельном storage, чтобы чтение шло из готовой структуры — это даёт заметное улучшение query speed за счёт избегания повторных тяжёлых вычислений. 🔸 Решает повторяющиеся дорогостоящие JOIN и агрегации, аналитические дашборды и latency‑чувствительные API (интерфейс прикладного программирования): вместо ре‑вычисления — чтение из materialized view. 🔸 Применять, когда данные меняются...

4 дня назад

🔹 Параллелизм в Python: threading vs asyncio

🔹 Когда лучше threading, а когда asyncio? 🔸 Без конкурентности (concurrency) приложение простаивает при I/O: клиенты ждут, throughput падает. threading и asyncio дают параллельность (parallelism) разными способами, чтобы не блокировать процесс. 🔸 threading — это OS‑потоки. Простая модель: запустил функцию в Thread. Хорошо для блокирующего I/O и когда есть C‑расширения, которые освобождают GIL (Global Interpreter Lock). 🔸 GIL (Global Interpreter Lock) мешает реальной параллельности Python‑байткода:...

5 дней назад

🔹 Метрики качества данных: что отслеживать в пайплайне

🔹 Зачем мерять метрики качества данных? 🔸 Accuracy — показывает, насколько значения в таблице соответствуют реальности или эталону; без неё отчёты и модели дают смещённые выводы, поэтому отслеживают разницу с reference-данными и ставят пороги для отклонений. 🔸 Completeness — измеряет долю отсутствующих значений; пропуски ломают агрегации и ML; простая метрика — процент non-null. SELECT SUM(CASE WHEN col IS NULL THEN 1 ELSE 0 END) AS nulls, COUNT(*) AS total, SUM(CASE WHEN col IS NULL THEN 1...

6 дней назад

🔹 Итоги недели: Python & SQL

🔹 Что повторяли и зачем это полезно? 🔸 list comprehension существует чтобы заменять громоздкие циклы при трансформации коллекций: короче читать, меньше ошибок, удобно для быстрых промежуточных списков при обработке данных. 🔸 SQL подзапрос помогает выделить шаг агрегации или фильтрации отдельно от основной выборки: полезно когда нужно отфильтровать строки по результатам агрегата без лишних JOIN'ов. 🔸 joins решают проблему объединения связанных таблиц: используйте INNER для общих записей,...

1 неделю назад

🔹 SLA — договор, который спасает продакшн

🔹 Как понять, что 99.9% — это много или мало для сервиса? 🔸 SLA нужен, чтобы согласовать ожидания и ответственность между командами и клиентами. Без него product, infra и data будут спорить о приоритетах и сроках реакции. 🔸 SLA (Service Level Agreement — соглашение об уровне сервиса) — контракт: какие метрики меряем, какой уровень сервиса, окна обслуживания и последствия за провал. Уровень сервиса прописывают явно. 🔸 Uptime — доля времени, когда сервис физически "в сети". Availability — практическая доступность для пользователей (учитывает деградации и таймауты)...

1 неделю назад

🔹 Контекст vs температура — коротко

🔹 Как контекст и параметр temperature меняют ответы модели? 🔸 Контекст задаёт рамки: инструкции, примеры, формат. Без контекста модель "угадывает" намерение и выдаёт общие или неправильные ответы. Параметр температура управляет стохастичностью: низкая температура даёт консистентность, высокая — больше вариативности и неожиданных формулировок. 🔸 Практически: для точных задач (валидация, SQL, API-инструкции) ставьте temperature ≈ 0–0.2, чтобы получить предсказуемый результат. Для творческих задач — 0...

1 неделю назад

🔹 CAP: компромисс между доступностью и согласованностью

🔹 Как выбрать между доступностью и консистентностью при разделении сети? 🔸 CAP (Consistency — консистентность, Availability — доступность, Partition tolerance — разделение сети) существует потому что реальные сети ломаются; при partition нельзя одновременно ждать мгновенной синхронизации всех реплик и отвечать на все запросы без задержек. 🔸 Выбор консистентности (CP) означает, что некоторые запросы будут отклонены или задержаны при partition, но данные останутся согласованными. Выбор доступности (AP) — система отвечает всегда, но ответы могут быть устаревшими...

1 неделю назад