Время есть величайшая иллюзия. Оно есть только внутренняя призма, через которую мы разлагаем бытие и жизнь (А.Ф. Амиель). Рассмотрим способы преобразования колонок с датой и временем в Spark SQL. Для начала сформируем демонстрационный датафрейм и зарегистрируем его в качестве временной таблицы: str2date Функция to_date принимает в качестве параметров имя колонки и формат и преобразует в тип pyspark.sql.types.DateType: Функция to_timestamp работает аналогично, только возвращает дату и время (pyspark...

Бывает нужно для сбора статистики. Генерим даты, потом LEFT JOINом собираем статистику из таблиц. Главное чтобы временный интервалы совпадали. Oracle: Сгенерить по дням за последние 5 дней: SELECT TRUNC(SYSDATE - ROWNUM) DT FROM DUAL CONNECT BY ROWNUM < 5 Сгенерить по часам за последние 5 дней: SELECT...