200 читали · 2 года назад
Как обнаружить выбросы в проекте по исследованию данных
Источник: Nuances of Programming В начале реализации проекта по исследованию данных важно обнаружить и обработать выбросы. В этом заключается одна из задач эксплораторного анализа данных. Мы рассмотрим три метода обнаружения выбросов. Но прежде выясним, что такое выброс, заглянув в Википедию: Выброс (в статистике)  —  это измерительная точка данных, которая значительно выделяется из общей выборки. Выбросы могут быть вызваны вариативностью измерений или указывать на экспериментальную ошибку; в последнем случае они иногда исключаются из набора данных...
Outlier в Машинном обучении простыми словами
Выброс – это Наблюдение (Observation), удаленное от других в выборке. Другими словами, это наблюдение, которое расходится с общей закономерностью Выборки (Sample). Стоит различать это определение с Несбалансированным датасетом (Imbalanced Dataset). Хоть в определениях и есть некоторые сходства, однако несбалансированный набор данных с точки зрения Машинного обучения (ML) – это меньший размер выборки одного класса в сравнении с другим. Источники выбросов Появление таких наблюдений может быть вызвано:...