Валидационные данные (Validation Data, Holdout Data – "удержанные" данные) – это часть Датасета (Dataset), основа для проверки работоспособности Модели (Model) Машинного обучения (ML). Является одной из составляющих разделенного набора данных наряду с Тренировочными (Train Data) и Тестовыми (Test Data) данными. Пример. Мы создаем модель, предсказывающую потребление электроэнергии в городе. Если на тренировочных данных она, подобно человеческому мозгу, учится видеть скачки потребления электричества, то на тестовой Дата-сайентист (Data Scientist) проверяет качество обучения...

Оценка качества моделей машинного обучения является важным этапом в разработке и выборе наилучшей модели для решения конкретной задачи. В данной статье мы рассмотрим методы оценки качества моделей и критерии выбора наилучшей модели. Оценка качества моделей 1. Метрики качества Метрики качества представляют собой числовые показатели, которые измеряют, насколько хорошо модель выполняет задачу. Выбор метрики зависит от типа задачи: 2. Кросс-валидация Кросс-валидация - это метод оценки производительности модели, который помогает учесть вариабельность в данных и предотвратить переобучение...