О метриках можно услышать не только в мире машинного обучения. Они позволяют численно или в виде графиков отобразить качество работы той или иной системы. Например, вы подняли веб-сервер, и вам скорее всего будет интересно знать, сколько запросов обрабатывает ваш сервер в течение некоторого отрезка времени, чтобы понимать далека ли нагрузка от предельной, при которой ваш сервер упадет. В машинном обучении метрики возникают в тот момент, когда вы думаете о том, как вы будете отвечать перед начальством на вопрос: “Насколько качественно работает моя новенькая модель?”...

Меня зовут Александр, я CTO компании AppFox. Мы более 10 лет занимаемся заказной разработкой, а также имеем собственные продукты. Нам часто приходится интегрировать нейросети в проекты, проводить prompt-инжиниринг и fine-tune. Качество и точность модели, при этом, являются ключевыми показателями. В этой статье мы разберем основные метрики нейросетей при обучении. Но, прежде чем мы перейдем непосредственно к метрикам, необходимо рассмотреть классификацию ошибок. Confusion Matrix В машинном обучении,...