Время есть величайшая иллюзия. Оно есть только внутренняя призма, через которую мы разлагаем бытие и жизнь (А.Ф. Амиель). Рассмотрим способы преобразования колонок с датой и временем в Spark SQL. Для начала сформируем демонстрационный датафрейм и зарегистрируем его в качестве временной таблицы: str2date Функция to_date принимает в качестве параметров имя колонки и формат и преобразует в тип pyspark.sql.types.DateType: Функция to_timestamp работает аналогично, только возвращает дату и время (pyspark...

Здравствуй, уважаемый читатель! На прошлом уроке мы начали писать простые запросы и столкнулись с проблемой неявного преобразования текста в дату. Чем это опасно и как использовать даты в запросе правильно, я расскажу сегодня. Итак, мы поняли, что при написании дат в SQL–запросах в виде текста (то есть дат в кавычках), перед выполнением SQL–запросов, даты из текста будут автоматически распознаны. Текст будет неявно преобразован в дату. Неявно, означает, что без явной нашей команды на преобразование...