Бэггинг (Бутстрэп-агрегирование) – это алгоритм, предназначенный для улучшения стабильности и точности алгоритмов Машинного обучения (ML), используемых для задач Классификации (Classification) и Регрессии (Regression). Прежде чем мы перейдем к основному понятию статьи, давайте кратко рассмотрим важный базовый прием Науки о данных (Data Science) – Бутстрап (Bootstrap). Бутстрап – это мощный статистический метод оценки характеристик Признака (Feature) на основе Выборки (Sample). Мы поймем понятие,...

Как известно, алгоритм машинного обучения "Случайный лес" (Random forest) основывается на принципе бэггинга, то есть на усреднении предсказания нескольких независимых моделей. Но что, если у нас только одна обучающая выборка? Каким образом в данном случае мы получим независимые модели? И почему на практике это не приводит к проблемам? Для начала вспомним, что идея бэггинга (беггинга) заключается в том, чтобы просто агрегировать предсказания, которые выдаются базовыми моделями (к примеру, усреднять либо брать наиболее популярное предсказание)...

В этой заметке поговорим о том, что такое ансамбли моделей в Machine learning. Заодно рассмотрим основные стратегии построения ансамблей. Как известно, классические ML-модели совершенными не являются (впрочем, как и все в этом мире). К примеру, используя лишь одно дерево решений, вы вряд ли сможете решить сложную задачу. Однако если собрать много базовых моделей, то ситуация меняется, ведь из них уже может получиться что-то намного более интересное. Таким образом, ансамблем (Ensemble) можно назвать алгоритм, состоящий из нескольких ML-алгоритмов...