Машинное обучение не любит перекосы. Но как быть, если данных одного класса в 100 раз больше, чем другого? Обычно первая мысль, приходящая в голову разработчику — взвесить классы обратно пропорционально их частоте. Но так ли это просто на практике? Автор блога andersource.dev решил разобраться в этом на конкретном примере и пришёл к неожиданным выводам. 🔬 Суть проблемы: почему важен баланс классов? Допустим, вы решаете задачу бинарной классификации изображений: один класс (например, дефекты на производстве) встречается очень редко, а другой (нормальные образцы) — повсеместно...

Кросс-валидация (перекрестная проверка) – это метод оценки Моделей (Model) Машинного обучения (ML) путем обучения нескольких из них на подмножествах доступных входных данных и их оценки на другом дополнительном подмножестве. Такая проверка используется для обнаружения Переобучения (Overfitting), т.е. неспособности распознать паттерн. Всегда необходимо проверять стабильность предсказывающего Алгоритма (Algorithm): нам нужна уверенность в том, что модель имеет представление о большинстве шаблонов в...