Найти в Дзене
🔹 Метрики качества данных: что отслеживать в пайплайне
🔹 Зачем мерять метрики качества данных? 🔸 Accuracy — показывает, насколько значения в таблице соответствуют реальности или эталону; без неё отчёты и модели дают смещённые выводы, поэтому отслеживают разницу с reference-данными и ставят пороги для отклонений. 🔸 Completeness — измеряет долю отсутствующих значений; пропуски ломают агрегации и ML; простая метрика — процент non-null. SELECT SUM(CASE WHEN col IS NULL THEN 1 ELSE 0 END) AS nulls, COUNT(*) AS total, SUM(CASE WHEN col IS NULL THEN 1...
2 часа назад
🔹 Итоги недели: Python & SQL
🔹 Что повторяли и зачем это полезно? 🔸 list comprehension существует чтобы заменять громоздкие циклы при трансформации коллекций: короче читать, меньше ошибок, удобно для быстрых промежуточных списков при обработке данных. 🔸 SQL подзапрос помогает выделить шаг агрегации или фильтрации отдельно от основной выборки: полезно когда нужно отфильтровать строки по результатам агрегата без лишних JOIN'ов. 🔸 joins решают проблему объединения связанных таблиц: используйте INNER для общих записей,...
19 часов назад
🔹 SLA — договор, который спасает продакшн
🔹 Как понять, что 99.9% — это много или мало для сервиса? 🔸 SLA нужен, чтобы согласовать ожидания и ответственность между командами и клиентами. Без него product, infra и data будут спорить о приоритетах и сроках реакции. 🔸 SLA (Service Level Agreement — соглашение об уровне сервиса) — контракт: какие метрики меряем, какой уровень сервиса, окна обслуживания и последствия за провал. Уровень сервиса прописывают явно. 🔸 Uptime — доля времени, когда сервис физически "в сети". Availability — практическая доступность для пользователей (учитывает деградации и таймауты)...
1 день назад
🔹 Контекст vs температура — коротко
🔹 Как контекст и параметр temperature меняют ответы модели? 🔸 Контекст задаёт рамки: инструкции, примеры, формат. Без контекста модель "угадывает" намерение и выдаёт общие или неправильные ответы. Параметр температура управляет стохастичностью: низкая температура даёт консистентность, высокая — больше вариативности и неожиданных формулировок. 🔸 Практически: для точных задач (валидация, SQL, API-инструкции) ставьте temperature ≈ 0–0.2, чтобы получить предсказуемый результат. Для творческих задач — 0...
2 дня назад
🔹 CAP: компромисс между доступностью и согласованностью
🔹 Как выбрать между доступностью и консистентностью при разделении сети? 🔸 CAP (Consistency — консистентность, Availability — доступность, Partition tolerance — разделение сети) существует потому что реальные сети ломаются; при partition нельзя одновременно ждать мгновенной синхронизации всех реплик и отвечать на все запросы без задержек. 🔸 Выбор консистентности (CP) означает, что некоторые запросы будут отклонены или задержаны при partition, но данные останутся согласованными. Выбор доступности (AP) — система отвечает всегда, но ответы могут быть устаревшими...
3 дня назад
Если нравится — подпишитесь
Так вы не пропустите новые публикации этого канала