CODERIKK | Дзен

CODERIKK

Немного познакомимся и я расскажу о себе и своем опыте. Меня зовут Егор, мне 26 лет 🫶🏼 Мои основные специализации: - Программист, разработчик - BI-аналитик, аналитик данных - Data Scientist (DS, DA, DE) Имею 2-а красных диплома 📕 Опубликовано 11 научных статей 📚 Зарегистрировано 3 рационализаторских предложения 📔 Большой опыт работы с библиотекой Pandas и библиотекой визуализации Matplotlib. Имею опыт работы с NLP (обработка естественного языка) в данном направлении начинал работу с машинным обучением, например, такие задачи как классификация отзывов по темам и определение настроение пользователя. Занимался парсингом новостных сайтов и отзовиков, проводил анализ отзывов и мнений, поиск ошибок и неисправностей. XML парсинг RSS лент. Разработал несколько полноценных, полнофункциональных Telegram-bot'ов на основе ИИ - Python асинхронных библиотек с использованием ChatGPT с регистрацией, верификацией по почте и различными моделями взаимодействия и сохранением контекста, с проектированием, реализации и использовании баз данных PostgreSQL и MySQL, размещенный на своём сервере под управлением системы Ubuntu. Разработал Desktop утилит для торговых предложений, отслеживания товаров внутри одного предприятия на основе разработанного графического интерфейса. Дипломы написаны по теме "Computer Vision" основной задачей которых было обнаружение и идентификация личности или объекта задачи. Также интересной задачей был поиск погрешностей и отклонений процесса за счет средств технологии Graph Mining (Process Mining). Опыт работы с Docker, в связи с переносом проекта на различные НРТК (наземных робототехнических комплексов) на основе Raspberry PI и Arduino. Опыт написание простых сайтов на основе Flask с применением SQLAlchemy. Опыт работы с Git и свои репозитории на GitHub и GitLab. Навык работы с Linux. Знание алгоритмов машинного обучения, искусственного интеллекта, статистики, ООП. Работа с Yandex Cloud и DataLens. Все это только небольшая часть моего опыта 🤭 Подпишись на мой Telegram-канал и развивайся в сфере IT без курсов, все просто и наглядно: CODERIKK

2 года назад

Новости и мысли

Квинтэссенция знаний SQL

🔹 Индексы в SQL: ставить или нет

? 🔹 Когда индекс реально помогает, а когда портит? 🔸 Индексы решают одну проблему: медленные выборки по столбцам. Без индекса база делает full table scan — это плохо для performance при больших таблицах. Индекс ускоряет поиск, но создаёт цену. 🔸 Индекс увеличивает insert cost и занимает место. При каждом INSERT/UPDATE индекс нужно обновить — это замедляет OLTP (online transaction processing) нагрузки. Не ставьте индекс на каждый столбец. 🔸 B-tree — универсальный индекс для диапазонов и высокоразмерных колонок; хорош в OLTP...

6 часов назад

🔹 SELECT и WHERE — фильтрация данных

🔹 Как в SQL (Structured Query Language) выбрать данные из таблицы с фильтрацией по условию? 🔸 Получаем только нужные строки — не тянем всю таблицу по сети и не расходуем лишнюю память. 🔸 SELECT выбирает столбцы; возвращайте только то, что реально нужно, чтобы снизить трафик и ускорить обработку. 🔸 FROM указывает источник: таблица или подзапрос — оттуда берутся строки. 🔸 WHERE...

3 недели назад

🔹 Строки и кодировки: не ломаем текст

🔹 Почему кодировки ломают строки и как Unicode помогает? 🔸 Проблема: файлы и сети передают байты, а не символы. Если отправитель и получатель используют разные кодировки — получаем "кракозябры" или ошибки. Строки (sequence of characters) ломаются именно из‑за несогласия байт↔символ. 🔸 Unicode — это карта кодовых точек для символов всех языков. Кодировки (UTF-8, UTF-16) задают как эти точки превратить в байты. Это позволяет разным программам согласованно обмениваться текстом. 🔸 encode/decode в коде: encode превращает str в bytes, decode — обратно...

3 недели назад

🔹 Итоги недели: учебный цикл

🔹 Что дала нам неделя повторов и ретро? 🔸 Помогает закрепить знания и найти пробелы: без ретроспективы детали быстро забываются. На этой неделе повторили ключевые темы Python и основы SQL — это сразу снизило количество ошибок в задачах и упростило отладку. 🔸 Делайте короткую практика и заметки: 15–30 минут в день по одному кейсу лучше раза в неделю по часу. Открывайте документацию и записывайте одно правило — заметка экономит часы в будущем...

3 недели назад

🔹 Путь в Senior Data Engineer

🔹 Как перейти на Senior Data Engineer? 🔸 Развивай и систематизируй skills: глубокая экспертиза в одной области и широта — инфраструктура, ETL (Extract, Transform, Load), CI/CD (Continuous Integration/Continuous Deployment). Это нужно, потому что Senior решает архитектурные вопросы, а не только таски. Например, оптимизация векторной обработки сократила время пайплайна в 3×. 🔸 Накопи measurable experience: веди end-to-end проекты и отвечай за метрики — стоимость, время, доступность. Без видимого эффекта сложно обосновать повышение...

3 недели назад

🔹 Перефразирование промпта: получить лучшее

🔹 Как rephrase и precision меняют ответ? 🔸 Перефразирование нужно, потому что расплывчатый prompt даёт общий или неверный результат; rephrase убирает двусмысленность и задаёт конкретный фокус. 🔸 Precision влияет на структуру и глубину ответа — посмотри на простой пример в prompts: Before: Напиши статью об ETL After: Напиши чек-лист (5 пунктов) по ETL: определение, источники, трансформация, загрузка, проверка качества...

3 недели назад

🔹 OKR: цели, которые работают

🔹 Что означает OKR и зачем он нужен в команде? 🔸 Objectives and Key Results (OKR) — методология, которая решает проблему расплывчатых целей: переводит стратегию в конкретные цели (Objectives) и измеримые результаты (Key Results). Это даёт фокус и возможность понять, движемся ли в нужном направлении. 🔸 Когда применять: команда растёт, ответственность распределена или цели пересекаются — OKR делает приоритеты и прозрачность явными, чтобы не тратить время на лишние задачи...

3 недели назад

🔹 Согласованность данных: eventual vs strong

🔹 Что такое eventual consistency и когда её можно допустить вместо strong consistency? 🔸 Смысл: при распределённой системе разные узлы могут отдавать разные ответы из‑за задержек или сетевых сбоев — eventual consistency решает проблему доступности и масштабирования, позволяя системе продолжать работу, пока данные синхронизируются. 🔸 eventual consistency — обновления распространяются асинхронно: читатель может увидеть старое значение некоторое время; возможен conflict (конфликт) при параллельных записях и нужен механизм разрешения (merge, last‑write‑wins)...

4 недели назад

🔹 Индексы в PostgreSQL: какие выбрать и почему

🔹 Какие типы индексов в PostgreSQL и когда их применять? 🔸 Индекс решает проблему медленных full table scan: он ускоряет поиск, но увеличивает запись и занимает место. Выбираем тип по характеру запросов и по операторам, которые используем. 🔸 B-tree — дефолтный индекс. Отлично для равенств, диапазонов, ORDER BY и UNIQUE. Используйте для PK, FK и числовых/строковых колонок с сортировкой. 🔸 Hash — индекс только для равенств. Подходит, когда много точечных = запросов и B-tree не даёт нужной производительности; обычно реже применяется из‑за ограниченной поддержки операторов...

4 недели назад

🔹 Асинхронность vs конкурентность: python-практика

🔹 Чем отличаются concurrency и parallelism — и как asyncio + threadpool играют вместе? 🔸 concurrency решает проблему простаивания: позволяет управлять множеством задач одновременно, чтобы не блокировать поток при ожидании I/O (input/output). 🔸 parallelism — реальное параллельное выполнение на разных ядрах CPU (central processing unit); нужен для ускорения CPU-bound операций, иначе многозадачность не даст прироста. 🔸 Практика: для I/O-bound используйте asyncio; для блокирующих или CPU-bound функций — отправляйте их в threadpool (ThreadPoolExecutor) или в process pool...

4 недели назад

🔹 Event Sourcing: восстановление состояния через журнал событий

🔹 Как восстановить состояние системы из событий? 🔸 Сохраняем изменения как события, а не перезаписываем состояние. Это решает проблему потери истории и даёт источник правды для recovery: event store — append-only immutable log, где каждое событие фиксирует изменение. 🔸 Во время восстановления читаем event store и реиграем события (реиграть события) в приложении: последовательное применение событий строит текущее состояние. Пример реигровки: state = State() for e in event_store...

1 месяц назад

🔹 Результаты недели: идемпотентность, prompt injection, SRE и OKR

🔹 Что из этого нужно прямо сейчас? 🔸 идемпотентность нужна, чтобы повторные запросы не создавали дубли и не ломали данные: при сбоях клиент может ретраить — система должна вернуть тот же результат или отклонить повтор. Практика: хранить request_id и проверять его. 🔸 prompt injection — это попытка через ввод изменить поведение системы; проблема в доверии к входным данным. Защита: фильтры, строгие шаблоны, контекстная валидация и тестовые запросы. 🔸 SRE (Site Reliability Engineering) vs DevOps...

1 месяц назад