Оптимизация – это процесс настройки Гиперпараметров (Hyperparameter) для минимизации Целевой функции (Cost Function). Иными словами, это набор методов совершенствования Модели (Model) Машинного обучения (ML). Чтобы справляться со своей основной задачей, модель использует такую функцию, обладающую множеством аргументов. Значение каждого из этих аргументов меняется в ходе оптимизации. Выражаясь простыми словами, на анимации ниже можно увидеть, как целевая функция под воздействием того или иного оптимизатора...

В этой статье мы поговорим об основных алгоритмах, которые используются в процессе машинного обучения. И назовём лучшие из них по мнению Джеймса Ли, автора статьи «A Tour of The Top 10 Algorithms for Machine Learning Newbies». Как говорится, встречайте «горячую десятку»! Алгоритм алгоритму рознь Знакома ли вам теорема «No Free Lunch»? Суть её проста: не существует алгоритма, который стал бы наилучшим выбором для любой задачи и особенно обучения с учителем. К примеру, мы не можем утверждать, что нейронные сети всегда функционируют лучше, нежели деревья решений...