Стандартизация (Standartization, Z-score Normalization) – техника преобразования значений признака (Feature), адаптирующая признаки с разными диапазонами значений к Моделям (Model) Машинного обучения (ML), использующих дистанцию для прогнозирования. Эта разновидность нормализации с использованием Стандартизированной оценки (Z-Score) преобразует значения таким образом, что из каждого Наблюдения (Observation) каждого Признака вычитается Среднее значение (Mean) и результат делится на Стандартное отклонение (Standard Deviation) этого признака. Как правило, каждый стандартизованный элемент признака вычисляется следующим образом:
Такое преобразование необходимо, поскольку признаки датасета могут иметь большие различия между своими диапазонами, и для моделей Машинного обучения, основанных на вычислении дистанции между точками на графике как основу прогнозирования: Метод k-ближайших соседей (kNN), Метод опорных векторов (SVM), Дерево решений (Decision Tree) и проч., это спровоцирует искаженное восприятие данных.
Z-оценка – один из самых популярных методов стандартизации, однако не единственный. После стандартизации все столбцы будут иметь среднее значение, равное нулю, стандартное отклонение, равное единице, и, следовательно, одинаковый масштаб влияния на модель.
Нормализовать или стандартизировать?
"Нормализация (Normalization) или стандартизация?" – извечный вопрос среди новичков. Первую удобно использовать, когда мы знаем, что распределение данных не соответствует Гауссову, то есть нормальному:
Это может быть полезно в алгоритмах, которые не предполагают никакого распределения. Стандартизация же полезна в случаях, когда данные соответствуют гауссовскому распределению. В отличие от нормализации, стандартизация не имеет ограничивающего диапазона:
Даже если у вас есть Выбросы (Outlier) в ваших данных, стандартизация не повлияет на них. Однако выбор между типами преобразований будет зависеть от бизнес-задачи и выбранного алгоритма Машинного обучения. Не существует жесткого правила, которое подскажет, когда нормализовать или стандартизировать данные. Вы всегда можете начать с подгонки моделей к необработанным, нормализованным и стандартизованным данным и сравнить их производительность для достижения наилучших результатов.
Хорошая практика – это стандартизировать Тренировочные (Train Data) и Тестовые данные (Test Data) , причем только Предикторы (Predictor Variable). Целевая переменная (Target Variable) остается в неизменном виде, и это позволяет избежать утечки данных в процессе тестирования модели.
Стандартизация и Scikit-learn
Стандартизацию можно выполнить с помощью функции Sklearn.preprocessing.StandardScaler(). Мы будем использовать упрощенный пример @discdiver (статья на английском). Для начала импортируем библиотеки:
Сгенерируем датасет из случайных чисел:
Зададим параметры холста Seaborn, название и визуализируем кривые распределения:
Случается, данные подаются в стандартизированном виде без уведомления, и чтобы ненароком не выполнить лишнюю, не меняющую картины стандартизацию, убедитесь, что среднее арифметическое признаков не равно нулю. Инициализируем стандартизатор, подготовим датасет и выполним стандартизацию:
Мы получили преобразованные кривые, и теперь их масштабы влияния на выбранную модель будут соответствовать друг другу.
Ноутбук, не требующий дополнительной настройки на момент написания статьи, можно скачать здесь.
Понравилась статья? Поддержите нас, поделившись статьей в социальных сетях и подписавшись на канал. И попробуйте наши курсы по Машинному обучению на Udemy.