Нейросети уже здесь

Представьте, что вам нужно угадать вес быка на ярмарке. Один человек ошибётся легко. Но если спросить тысячу человек и взять среднее — ответ окажется поразительно точным. Это не магия, а реальный исторический случай, и ровно на этой идее держится половина современного машинного обучения. В одиночку даже умная модель часто промахивается. А вот собранная по уму команда моделей — так называемый ансамбль (несколько алгоритмов, чьи ответы объединяют в один общий) — почти всегда сильнее любого своего участника...

Представьте, что вы пришли к врачу с непонятным диагнозом. Один доктор посмотрел, пожал плечами и назвал болезнь. Вы поверите ему на сто процентов? Скорее всего, захотите второе мнение. А лучше — консилиум, где несколько специалистов спорят, сверяют выводы и в итоге приходят к решению, в котором уже трудно усомниться. Так вот, в машинном обучении придумали ровно тот же трюк. Он называется ансамбль, и именно благодаря ему многие современные системы предсказывают точнее, чем любая отдельная умная модель...

Представьте, что вам дали таблицу на тысячу строк и пятьдесят столбцов. В строках — люди, в столбцах — рост, вес, возраст, зарплата, часы сна, шаги за день и ещё сорок четыре колонки. Вы листаете это вверх-вниз и понимаете: глаз не цепляется ни за что. Где тут группы похожих? Кто на кого похож? Мозг просто захлёбывается. А теперь представьте, что кто-то взял эти пятьдесят столбцов и нарисовал вам ОДНУ простую картинку — точки на плоскости, где похожие люди оказались рядом, а непохожие разлетелись по углам...

Представьте, что вам дали толстенную таблицу: тысячи строк, а в каждой строке двести колонок. Возраст, доход, рост, вес, сто видов покупок, лайки, клики — всё подряд. Глаза разбегаются, голова кругом. А теперь вопрос: можно ли всю эту махину ужать до двух-трёх чисел так, чтобы суть осталась? Оказывается, можно. И называется этот фокус снижением размерности — один из самых полезных приёмов в машинном обучении, про который редко рассказывают по-человечески. Давайте исправим это. Слово страшное, а смысл простой...