https://t.me/machine_learning_explained 7-минутная статья о том, как разбивать данные на train-validation-test сеты, если данные - это временные ряды. Вкратце, разбивать надо вдоль оси времени. То есть, тренировочные данные идут хронологически до валидационных. Валидационные до тестовых. Потому что модель не должна иметь никакую информацию о будущем. В статье есть очень понятные картинки о том, как именно разбивать...

Кросс-валидация (Cross-Validation – CV) – это метод оценки Моделей (Model) Машинного обучения (ML) в условиях небольшого объема данных. Датасет (Dataset) разделяют на N равных частей разными способами, затем обучают на первой и вычисляют эффективность с помощью второй части. Затем дообучают на второй и снова обсчитывают эффективность на третьей...