Немного познакомимся и я расскажу о себе и своем опыте. Меня зовут Егор, мне 26 лет 🫶🏼 Мои основные специализации: - Программист, разработчик - BI-аналитик, аналитик данных - Data Scientist (DS, DA, DE) Имею 2-а красных диплома 📕 Опубликовано 11 научных статей 📚 Зарегистрировано 3 рационализаторских предложения 📔 Большой опыт работы с библиотекой Pandas и библиотекой визуализации Matplotlib. Имею опыт работы с NLP (обработка естественного языка) в данном направлении начинал работу с машинным обучением, например, такие задачи как классификация отзывов по темам и определение настроение пользователя. Занимался парсингом новостных сайтов и отзовиков, проводил анализ отзывов и мнений, поиск ошибок и неисправностей. XML парсинг RSS лент. Разработал несколько полноценных, полнофункциональных Telegram-bot'ов на основе ИИ - Python асинхронных библиотек с использованием ChatGPT с регистрацией, верификацией по почте и различными моделями взаимодействия и сохранением контекста, с проектированием, реализации и использовании баз данных PostgreSQL и MySQL, размещенный на своём сервере под управлением системы Ubuntu. Разработал Desktop утилит для торговых предложений, отслеживания товаров внутри одного предприятия на основе разработанного графического интерфейса. Дипломы написаны по теме "Computer Vision" основной задачей которых было обнаружение и идентификация личности или объекта задачи. Также интересной задачей был поиск погрешностей и отклонений процесса за счет средств технологии Graph Mining (Process Mining). Опыт работы с Docker, в связи с переносом проекта на различные НРТК (наземных робототехнических комплексов) на основе Raspberry PI и Arduino. Опыт написание простых сайтов на основе Flask с применением SQLAlchemy. Опыт работы с Git и свои репозитории на GitHub и GitLab. Навык работы с Linux. Знание алгоритмов машинного обучения, искусственного интеллекта, статистики, ООП. Работа с Yandex Cloud и DataLens. Все это только небольшая часть моего опыта 🤭 Подпишись на мой Telegram-канал и развивайся в сфере IT без курсов, все просто и наглядно: CODERIKK
CODERIKK
🔹 Snowflake-архитектура: понятно для junior
🔹 Зачем Snowflake разделяет хранение и вычисления — и что такое multi-cluster, elasticity, RAID в этом контексте? 🔸 Разделение storage и compute решает проблему блокировок и плохой масштабируемости: в классическом хранилище одно тяжёлое задание может «пожрать» ресурсы и тормозить BI‑запросы. Snowflake хранит данные отдельно, поэтому вычислительные мощности можно добавлять независимо. 🔸 Storage в Snowflake — это облачное хранилище с избыточностью (как RAID — Redundant Array of Independent Disks): данные реплицируются и не зависят от конкретных виртуальных машин...
🔹 Schema: что это в базе данных
? 🔹 Хочешь понять, почему структуры таблиц влияют на всё приложение? 🔸 Без схемы данные становятся «без правил»: разный формат, дубли, сложности при объединении таблиц и баги в приложении. Схема решает эту хаотичность и даёт гарантию структуры. 🔸 Schema — это описание набора таблиц, их атрибутов (столбцов), типов и ограничений. В реляционной модели каждую таблицу можно считать отношением: строки — кортежи, столбцы — атрибуты. 🔸...
🔹 Zero-shot vs Few-shot: давать пример или нет
? 🔹 Когда вставлять demonstrations (пример) в промпт, а когда оставить zero-shot? 🔸 С проблемой: без примера модель может интерпретировать задачу по‑своему — ответы станут непоследовательными или не в нужном формате. Demonstrations помогают задать ожидание и снять неоднозначность. 🔸 zero-shot — подходит, когда задача простая, формат гибкий или нужен неожиданный творческий результат. Если хочешь посмотреть, как модель сама решит проблему, не давай примеров. 🔸 few-shot — нужен, когда важен...
🔹 Транзакция в БД: ACID простыми словами
🔹 Зачем нужны транзакции? 🔸 Транзакция решает проблему неконсистентного состояния при множественных связанных операциях: либо все изменения применяются, либо никакие. ACID (Atomicity, Consistency, Isolation, Durability). 🔸 Atomicity (атомарность) — группы операций выполняются как единое целое; если одна падает, всё откатывается, чтобы не осталось полумеры. 🔸 Consistency (согласованность) — после транзакции данные соответствуют правилам (ограничениям, триггерам). Транзакция предотвращает нарушение бизнес-правил...
🔹 Data Pipeline: от source до витрины
🔹Как данные из source попадают в витрину и зачем нужен pipeline? 🔸Pipeline нужен, чтобы автоматически и надёжно перемещать данные: без него — ручные копирования, рассинхронизация и ошибки. Pipeline решает проблему повторяемости и контроля качества данных. 🔸Типичный путь: source (система, лог или API) → стейджинг (raw зона для сырых данных) → трансформации → витрина (анализная таблица). ETL (Extract, Transform, Load) — извлечение, преобразование, загрузка — описывает эти шаги. 🔸Практический...
