Не несмотря на то, что градиентный бустинг используется повсеместно, многие практики до сих пор относятся к нему, как к сложному алгоритму в черном ящике и просто запускают готовые модели из предустановленных библиотек. Вот представьте, вы находитесь перед этим "черным ящиком" и задумываетесь, как бы вы его открыли и посмотрели, как он работает. Ну, именно это и будет нашей целью в этой статье! Пристегните ремни, дорогие читатели "Аналитик Шоу", ведь сегодня мы отправляемся в увлекательное путешествие в мир градиентного бустинга...

Градиентный бустинг – эффективный алгоритм преобразования относительно плохих гипотез Моделей (Model) в очень хорошие. Происхождение Идея бустинга (усиления) базируется на допущении, что изменить слабый предсказывающий алгоритм возможно. Слабый алгоритм определяется как гипотеза, чьи результаты немного лучше, чем случайные. Идея усиления заключалась в том, чтобы фильтровать Наблюдения (Observation), оставляя те из них, с которыми может справиться слабый алгоритм, и сосредотачиваясь на развитии новых способностей, чтобы справиться с оставшимися трудными наблюдениями...