Осознанность — это восприятие всех деталей происходящего по отдельности и в целом. Когда ты переживаешь их, видишь, понимаешь суть и взаимосвязи (Ольга Нестерова). Самым распространенным способом определения зависимости между признаками является корреляция Пирсона, но она обладает рядом особенностей, в том числе не устойчива к выбросам.
В демонстрационных целях рассмотрим корреляцию для двух датафреймов, в которых отличаются только последние строки (используем метод corr, в котором по умолчанию применяется способ Пирсона - method='pearson'):
Как можно заметить, коэффициент сильно меняется при изменении значений.
А теперь вызовем corr с параметром method='spearman' и убедимся в устойчивости к выбросам:
Метод Спирмена устойчив к выбросам, так как считает корреляцию между рангами элементов, а не их величинами. При этом коэффициент можно посчитать по формуле (𝑥𝑖,𝑦𝑖 - ранги значений):
Альтернативным способом подсчета является вычисление корреляции Пирсона для рангов:
Вышеуказанная формула выводится из определения корреляции Пирсона, примененной к рангам значений из выборок:
Учтем, что (читай тут):
Тогда один из множителей знаменателя считается так:
Преобразуем числитель:
Учтем, что:
Тогда:
Полезные ссылки:
- Корреляция Пирсона на пальцах