Время есть величайшая иллюзия. Оно есть только внутренняя призма, через которую мы разлагаем бытие и жизнь (А.Ф. Амиель). Рассмотрим способы преобразования колонок с датой и временем в Spark SQL. Для начала сформируем демонстрационный датафрейм и зарегистрируем его в качестве временной таблицы: str2date Функция to_date принимает в качестве параметров имя колонки и формат и преобразует в тип pyspark.sql.types.DateType: Функция to_timestamp работает аналогично, только возвращает дату и время (pyspark...

Часто бывает, что в работе с базами данных нужен список всех дат за какой-то период. Например, для отчетов, анализа данных или просто, чтобы посмотреть, сколько было дней без продаж. Конечно, можно заморочиться и сделать мегатаблицу со всеми атрибутами (день недели, номер квартала, праздники и т. д.), но иногда нужна простая реализация — обычный список дат за текущий месяц. В этой статье посте я покажу, как на лету создать такую табличку со всеми датами текущего месяца. Причем рассмотрим это для разных популярных баз данных: MySQL, PostgreSQL, MS SQL Server и Oracle...