Найти в Дзене
Способы визуализации пропущенных данных
Код python: import matplotlib.pyplot as plt import pandas as pd df = pd.read_excel('src/sales.xlsx') df.info() // Out: 0 id_order 35554 non-null object 1 id_buyer 35554 non-null object 2 id_manager 35554 non-null object 3 id_good 35554 non-null object 4 unit 35554 non-null object 5 date 35554 non-null object 6 quantity 35520 non-null float64 7 amount 32230 non-null float64 8 cost_price 34287 non-null float64 9 costs 26139 non-null float64 import seaborn as sns plt.figure(figsize=(12, 8)) sns.heatmap(df...
2 дня назад
🔐 Подключение к БД PostgreSQL на Railway hosting
Нашёл халявный хостинг для тренировки по SQL: railway.com Можно создать тестовую БД на 24 часа как в ныне почившем ElephantSQL. Всё интуитивно понятно. После создания БД, например PostgreSQL, можно получить доступы для подключения: в строке: 🔌 postgresql://{DB_USER}:{DB_PASSWORD}@{DB_HOST}:{DB_PORT}/{DB_NAME} Все эти переменные прописываем в файл .env, который будет лежать вместе с нашим скриптом. В самом .env переменные хранятся в виде: DB_HOST=hopper.proxy.rlwy.net DB_PORT=11948 DB_NAME=railway DB_USER=postgres DB_PASSWORD=ваш_пароль...
6 дней назад
Сказка про модель из старого сервера (Каша из топора)
Шёл как-то дата-саентист с очередного мита по поводу разработки новой предсказательной модели. Притомился в пути, данные гигабайтные, а вычислительных мощностей катастрофически не хватает. Решил зайти в кабинет отдела IT-закупок, постучал в кабинет. – Уважаемые коллеги, помогите с ресурсами для стратегически важного проекта! Дверь отворила начальница отдела. – Заходи, заходи. – А нет ли у вас, хозяйка, возможности выделить бюджет под новый мощный сервер для обучения моделей? Желательно с парой-тройкой A100...
3 недели назад
👨‍🔬 Задача про химию
Химический комбинат закупает соляную кислоту (HCL) у трёх поставщиков. Первый поставщик обеспечивает 30% общего объёма кислоты, второй — 55%, а третий — остальную часть. Качество продукции различается: При входном контроле на химическом комбинате была выявлена партия соляной кислоты с браком. Какова вероятность того, что эта партия была поставлена вторым поставщиком? События: A — брак кислоты H₁ — кислота от 1-го поставщика H₂ — кислота от 2-го поставщика H₃ — кислота от 3-го поставщика Вероятности: P(H₁) = 0...
1 месяц назад
Связь уровня стат.значимости (α), мощности эксперимента, ошибок I и II рода в A/B-тестах
Например мы, планируем A/B-тест для нового функционала в мобильном приложении. Перед запуском нужно определить параметры эксперимента. Допустим, мы для себя решили что: Что это значит на практике и какую вероятность ошибки мы закладываем?...
1 месяц назад
Доверительный интервал оценок клиентов
Допустим ваша компания проводит опросы своих клиентов каждый месяц. И в итоге получает среднюю оценку своей работы — MOS (Mean Opinion Score). Наша задача: узнать доверительный интервал полученной средней оценки в каждом месяце. Дано: файлик с оценками клиентов. Колонки: Далее открываем Jupyter notebook, пишем: # Импорт библиотек import numpy as np import pandas as pd import plotly.graph_objects as go # Читаем данные df = pd.read_excel('mos_data.xlsx') df.info() # Удаляем ячейки без оценки df = df[df['points']...
2 месяца назад
Продакт-менеджер Петя и потерянные данные
Жили-были продакт-менеджер Петя и бизнес-аналитик Катя. Петя вечно торопился: бегал с мита на мит, сыпал идеями и требовал дашборды «на вчера». А Катя ему приговаривала: — Петя, не спеши. Петя, сначала ТЗ напиши, да таску в Jira закинь. Но Петя не слушал. Однажды он торопился представить отчёт стейкхолдерам и запросил дашборд. Открыл Superset — графики кривые, метрики нулевые, KPI не считаются. Петя побледнел, замер и упал лицом в клавиатуру. Испугалась Катя, побежала к bi-аналитику: — Срочно нужны...
2 месяца назад
В айти добро 😀
Закоммитил код на гите — Баги выявил на мите. Мержить в мастер я не смог, И релизный вышел срок! Я люблю свои дашборды, Запущу пайплайны бодро, Фильтры все расставлю чётко, Покажу начальству ловко! Я учу свои модели, Запущу в продакшн смело...
3 месяца назад
Отгадай загадку
Когда меня двое, мы едины в одном. Я поддерживаю твою жизнь и я же её медленно разрушаю. Ты найдёшь меня даже опустившись на самое дно. В мире только двое впереди меня. Что это❓ 🤓 За всю жизнь ты сделаешь нас миллионы. Говорят что за каждым из нас следует другой такой же. 🤴🏻У короля он всего один. О чём идёт речь❓ Бывает испанский — им ломали упрямых. Бывает итальянский как в море. А есть тот, что на службе, в походе. Я несусь быстро, но ты не чувствуешь моего движения. Я скрываю всё от глаз и храню тайны пока не придёт время раскрыть их...
3 месяца назад
Kandinsky, Fusionbrain, API и халявные фоточки
Ещё один способ получить картинки у себя на локальном компьютере без водяных знаков. Для этого нам нужно зарегистрироваться на fusionbrain.ai. В личном кабинете можно генерировать фотографии и видео с помощью интерфейса сервиса. А можно воспользоваться API и запускать python-код в своём любимом Jupyter Notebook. Для этого нам понадобится API-ключи. Их можно получить в разделе, как нестранно, API. Заходим в раздел, жмём «Добавить ключ» и получаем API key и Secret key. Потом ответственно сохраняем эти ключи...
4 месяца назад
Пошаговая инструкция по запуску Telegram-бота на сервере Ubuntu
База данных будет в SQLite, можно также сделать и на PostgreSQL, имя базы данных: mybot.db. Обновление пакетов: sudo apt update && sudo apt upgrade -y Установка Python 3 и pip sudo apt install python3 python3-pip python3-venv -y В этой команде: ⚠ Рекомендуется создать отдельного пользователя для бота sudo adduser telegrambot sudo su - telegrambot "sudo adduser telegrambot" — создаёт нового пользователя с именем telegrambot. Во время выполнения команды система попросит ввести пароль для нового пользователя и (по желанию) заполнить дополнительные сведения (имя, телефон и т...
4 месяца назад