981 читали · 3 года назад
Validation Data в Машинном обучении простыми словами
Валидационные данные (Validation Data, Holdout Data – "удержанные" данные) – это часть Датасета (Dataset), основа для проверки работоспособности Модели (Model) Машинного обучения (ML). Является одной из составляющих разделенного набора данных наряду с Тренировочными (Train Data) и Тестовыми (Test Data) данными. Пример. Мы создаем модель, предсказывающую потребление электроэнергии в городе. Если на тренировочных данных она, подобно человеческому мозгу, учится видеть скачки потребления электричества, то на тестовой Дата-сайентист (Data Scientist) проверяет качество обучения...
264 читали · 2 года назад
8 причин использовать Pydantic для улучшения парсинга и валидации данных
Источник: Nuances of Programming В одной из предыдущих статей (англ) я рассматривал dataclasses как способ написания классов python, которые выступают в качестве контейнеров данных. Проект dataclasses показался мне потрясающим по нескольким причинам: Однако в этом модуле не хватает важной функции  —  валидации данных, то есть процесса, с помощью которого вы накладываете ограничения схемы на данные во время выполнения. Вот тут нам и пригодится проект Pydantic. Мы рассмотрим 8 ее полезных функций и увидим, как можно быстро внедрить их в приложения с помощью нескольких строк кода...