Рассмотрим, какое средство осуществляет подбор гиперпараметров модели наиболее эффективно? Также на конкретном примере разберем вариант использования данного инструмента.
Это библиотека Optuna, в которой оптимизация осуществляется не жадным или случайным перебором заданных комбинаций гиперпараметров (как в GridSearchCV или RandomizedSearchCV), а с использованием продвинутых алгоритмов поиска областей минимизации/максимизации целевой функции.
Родным способом применения является задание функции цели (традиционно называется objective) и инициация ее оптимизации.
Для примера, минимизация простой функции выглядит следующим образом:
Получить оптимальное значение целевой функции, параметра можно через свойства study best_params и best_value:
Рассмотрим процесс оптимизации гиперпараметров LightGBM модели, предсказывающей расходы людей по их доходам на основании сгенерированных в прошлых статьях данных:
Теперь можно вывести новые параметры:
а создать регрессор с этими параметрами так: