Найти тему
Властелин машин

Быстрый способ загрузки тренировочных данных для машинного обучения

Причина моего провала очевидна: я мало тренировался. И кроме того, я мало тренировался. И еще — я мало тренировался. Это если так, вкратце (Харуки Мураками). Во многих библиотеках машинного обучения есть встроенные способы загрузки наборов данных. В силу того, что scikit-learn является де-факто стандартом для разработки моделей, она обладает богатым инструментарием для этого. Он компактно сконцентрирован в модуле sklearn.datasets и для его первичного обзора проще всего воспользоваться функцией dir:

Так, популярна группа функций, начинающихся с load:

-2

Функция позволяет получать результат в виде словаря или кортежа (параметр return_X_y) данных в форме датафреймов или numpy массивов (as_frame). Например, способ ниже демонстрирует, как выгрузить и признаки, и цель вместе в pandas датафрейм:

-3

Аналогичную группу образуют функции, начинающиеся с fetch:

-4

Результат извлекается аналогичными аргументами. Например, ниже демонстрируется выгрузка в один pandas датафрейм возвращенных в виде кортежа матрицы признаков и цели:

-5

Более мощный функционал предусмотрен в функции fetch_openml. Она загружает датасеты из открытого хранилища openml. Достаточно задать ей имя набора, который можно посмотреть на сайте в разделе datasets:

-6

Со слова make начинаются методы создания собственных синтетических наборов:

-7

Кому интересно за деталями обращайтесь к более ранним статьям о том, как создавать наборы с make_classification для классификации и с make_blobs для кластеризации.

-8