10,1 тыс подписчиков

🚀 Машинное обучение. Обнаружение аномалий с использованием модифицированного zscore

28 апреля 202228 апр 2022

131

3 мин

В этой серии статей об обнаружении аномалий мы начнем с определения того, что такое аномалия, и обсудим различные методы определения аномалий

Что такое аномалия? Аномалия - это "наблюдение, которое настолько сильно отклоняется от других наблюдений, что вызывает подозрение, что оно было порождено другим механизмом".

Аномалии - это подмножество выбросов (Aggarwal 2013).

Все наблюдения = нормальные данные + аномалии

Выбросы = шум + аномалии

Шум = неинтересные выбросы

Аномалия = достаточно интересный выброс

Распространенным методом оценки аномалий в одномерных данных является z-score. Если известны среднее значение и стандартное отклонение, то для каждой точки данных вычисляют z-score as = data_point-mean/standard_deviation.

Давайте начнем с анализа того, как рассчитывается z-score и как z-score может быть использован для обнаружения аномалий.

(130, 2)

Mean participation rate составляет 0,741

Стандартное отклонение - 0,136

Рассчитаем z-score и добавим результат в таблицу данных.

Поскольку нас беспокоит низкий уровень Mean participation rate нашим предельным значением будет отрицательное число, мы ищем данные с уровнем участия ниже среднего. Здесь мы выбираем z=−2 . То есть любая школа с z-показателем ниже -2 будет помечена как аномалия.

Наконец, получите список школ, которые являются аномальными.

Мы нашли наши аномалии.

Теперь мы рассмотрим набор данных, который показывает ограничения z-score и то, почему модифицированный z-score может быть полезен.

Мы рассмотрим количество голов, забитых лучшим бомбардиром на каждом чемпионате мира по футболу с 1930 по 2018 год (всего 21 соревнование).

Среднее количество голов - 7,05

Стандартное отклонение - 2,15

И снова начнем с использования z-score для выявления аномалий. Поскольку нас интересуют суперзвезды, на этот раз у нас будет верхний порог. Мы выбираем z=+2. При превышении этого z-score любой игрок будет помечен как аномалия.

Теперь изменим предыдущую функцию построения для отображения результатов.

Выбивается только один игрок: Жюст Фонтейн.

Очевидно, что наш анализ несовершенен. Взглянув на график, мы видим, что в 12 из 21 соревнованиях лучший бомбардир(ы) забил(и) меньше среднего количества голов (7,05).

Возникает вопрос, почему так?

Ответ заключается в том, что среднее и стандартное отклонение сами по себе подвержены присутствию аномалий. Со своими 13 голами удивительный Фонтейн настолько повышает среднее значение, что большинство игроков опускаются ниже него. В результате он становится единственной аномалией.

Давайте поймем это с помощью примера
рассмотрим значения = 2, 2, 3, 4, 7, 8, 9
среднее = 5; медиана = 4; мода = 2; стандартное отклонение = 2,725 для вышеуказанных значений.
Теперь мы посмотрим 30 выбросов:
значения = 2, 2, 3, 4, 7, 8, 30
теперь у нас есть среднее = 8; медиана = 4; мода = 2; стандартное отклонение = 9,242 для вышеуказанных значений.

И из-за этого z-score иногда может быть ненадежным, поскольку среднее и стандартное отклонение сами по себе чувствительны к аномалиям, но не медиана и мода.

Модифицированная z-score решает эту проблему, используя вместо этого медианы:

6.0

Теперь рассчитаем модифицированный z-score. Для каждой точки данных она определяется как xi следующим образом:

где X - медиана данных, а MAD - медиана абсолютного отклонения от медианы.

Значение MAD равно 1,00 Здесь мы сделаем небольшую модификацию и введем поправку на согласованность k , которая позволяет нам использовать MAD в качестве согласованной оценки стандартного отклонения. Значение k зависит от базового распределения данных. Для простоты мы будем использовать значение для нормального распределения k=1,4826 (см. https://en.wikipedia.org/wiki/Median_absolute_deviation).

Примечание: Поправочный коэффициент k=1.4826 все еще предполагает, что данные, лежащие в основе, являются нормальными!

Таким образом, модифицированная z-score становится

и именно эту форму мы будем использовать в функции ниже.

Как и раньше, рассчитаем модифицированный z-score для всех игроков, затем постройте график и выведите результаты. Обратите внимание, что порог остается прежним 𝑦=+2 .