Гиперпараметр – это конфигурация Модели (Model) Машинного обучения (ML), оптимальные настройки, которые невозможно вычислить с помощью Датасета (Dataset) и предстоит определить в ходе итеративного обучения:
Пример. Запустите 8 ячеек ноутбука "Validation in Practice: Grid Search" из документации Colab: здесь утилита GridSearchCV автоматически подбирает гиперпараметры Полиномиальной регрессии (Polynomial Regression):
- linearregression__fit_intercept: пересечение (intercept) – это место, где прямая Линейной регрессии (Linear Regression) пересекает ось y. Если значение гиперпараметра здесь равно False, то линейная регрессия неприменима к данной модели (GridSearchCV перебирает несколько из них).
- linearregression__normalize: вероятно, означает, что при попытке определить уравнение линейной регрессии к исходным данным применялась Нормализация (Normalization).
- polynomialfeatures__degree (степень многочленов): представьте, что Целевую переменную (Target Variable) y можно описать уравнением 6x5 + 5x4− 3x2+ x. Пятая степень (6x5) – это и есть [наивысшая] степень многочленов.
Существует важное отличие между параметрами модели и ее гиперпараметрами: если первые зачастую подбираются автоматически, то вторые определяются в ходе обучения Алгоритма (Algorithm) Дата-сайентистом (Data Scientist) и помогают определить наилучшее уравнение, описывающее зависимость Предикторов (Predictor Variable) и целевой переменной.
Примеры параметров:
- Веса (Weights) в искусственной Нейронной сети (Neural Network)
- Опорные векторы в Методе опорных векторов (SVM)
Автор оригинальной статьи: Jason Brownlee
Понравилась статья? Поддержите нас, поделившись статьей в социальных сетях и подписавшись на канал. И попробуйте курсы на Udemy.