Разбор строковых полей с информацией о дате и времени встречается повсеместно, соответственно, любой анализ временного ряда не обходится без знания базовых возможностей по обработке эти данных.
Если имеющаяся в pandas функция pandas.to_datetime() произведет автоматический разбор строки и трансформирует ее значения в тип даты, можно считать, что вам повезло, так как вся сложная работа выполнена за вас. В противном случае строковые данные нужно привести к одному из распространенных видов представления даты и времени. Например, выполнив последовательность действий из урока, можно преобразовать столбец дат к виду:
В последующем для каждого элемента столбца можно вызвать функцию-обработчик и преобразовать данные к типу numpy.datetime64 следующим образом:
df.loc[df.date_time.notnull(),'date_time'] = df.loc[df.date_time.notnull(),'date_time'].map(lambda str: datetime.strptime(str, '%d %B %H:%M %Y'))
df['date_time'] = df['date_time'].astype(np.datetime64)
Как обсуждалось ранее посредством метода map мы вызываем для каждого ненулевого элемента столбца 'date_time' функцию, которая преобразует строковое значение в тип даты:
Теперь можно исследовать получившийся столбец. Выведем минимальное и максимальное значения:
Допустим мы хотим использовать интервалы времени в качестве индикаторных переменных (принимают значения 0 или 1) в модели машинного обучения. Тогда мы можем поделить весь временной диапазон на заданное количество равных интервалов с использованием функции pandas.cut (рассказывалось ранее) и добавить к анализируемой таблице столбцы каждого отрезка времени, содержащие только 0 или 1, в зависимости от попадания даты записи в строке в заданный интервал:
Затем посредством вызова функции pandas.get_dummies (используем pd – псевдоним pandas) для каждой категории формируется отдельный столбец с 0 или 1, в зависимости от попадания даты записи в строке в его интервал. После этого громоздкие названия столбцов (интервалы дат и времени) приводятся к более компактному виду (правая граница):
Зачастую очень удобно внести дату в индекс таблицы, чтобы потом использовать продвинутые возможности pandas для работы с временными рядами. Например, вызвав для таблицы df (в качестве примера взята таблица цен на недвижимость в Республике Северная Осетия-Алания) метод set_index получим следующее представление:
df = df.set_index(['date_time'])
