Прежде всего, следует разобраться, что такое машинное обучение. Предположим, что вы хотите разработать программу, которая будет автоматически определять, что изображено на картинке. Например, предлагая ей это изображение, вы хотите, чтобы программа опознала собаку. А здесь она должна увидеть стол. Возможно, вы думаете, что для решения этой задачи можно просто написать код анализа изображения. Например, если на картинке много светло-коричневых пикселей, делаем вывод, что это собака. Или вы можете научиться определять на изображении края и границы...

Источник: Nuances of Programming Важным шагом в разработке моделей машинного обучения является оценка их эффективности. Выбор метрик для этих целей обычно зависит от типа проблемы, которую решает МО. Однако простое рассмотрение одного или двух чисел в отдельности не всегда позволяет принять правильное решение при подборе модели. Например, одна метрика ошибок не даст никакой информации о распределении ошибок. Она также не позволит ответить на вопрос, ошибается ли модель по-крупному небольшое количество раз или же она допускает множество более мелких ошибок...