Корреляция показывает линейную взаимосвязь между последовательностями значений. Однако ее следует применять не ко всем наборам чисел.
Напомним формулу коэффициента корреляции - Pxy = E(X-Ex)(Y-Ey) / (Sx*Sy), где Ex, Ey - математические ожидания случайных величин X и Y, Sx и Sy - стандартные отклонения X и Y (подробнее о понятиях рассказывал здесь);
На практике данная формула превращается в сумму попарных произведений вида k*(x-x_ср)*(y-y_ср), где k некий положительный коэффициент. Каждый множитель входит в сумму со знаком "+", если оба значения одновременно выше своего среднего или ниже и "-", если один выше, а другой ниже. То есть корреляция положительна, когда величины склонны принимать большие и малые значения одновременно (максимум 1) и отрицательна, когда при больших значениях одной, другая стремится принимать меньшие значения (минимум -1).
Соответственно, корреляцию имеет смысл измерять, когда количественные значения переменной упорядочены. То есть доходы человека в зависимости от года - между годами есть естественная упорядоченность и между доходами. Создадим тестовый датафрейм:
Посчитаем корреляцию между доходом и годом:
В противоположность между месяцем и доходом считать корреляцию неправильно, так как между месяцами упорядоченности нет (разве что в рамках одного года), например, месяц 1 в первой записи, который соответствовал году 1987 станет меньше, чем месяц 12 в 1965 году. Однако Pandas вам позволит посчитать корреляцию, так как в обоих столбцах значения числовые:
Для тех, кто хочет заглянуть глубже в детали подсчета:
Смотрите на формулу как k*(сумму). Знаки сомножителей в сумме определяются так:
Для дохода большие значения соответствуют большим доходам (0 и 3), тогда как для месяца - нет (0 запись имеет самое малое значение, хотя дата - вторая самая большая в первоначальном массиве).