Часто бывает, что в работе с базами данных нужен список всех дат за какой-то период. Например, для отчетов, анализа данных или просто, чтобы посмотреть, сколько было дней без продаж. Конечно, можно заморочиться и сделать мегатаблицу со всеми атрибутами (день недели, номер квартала, праздники и т. д.), но иногда нужна простая реализация — обычный список дат за текущий месяц. В этой статье посте я покажу, как на лету создать такую табличку со всеми датами текущего месяца. Причем рассмотрим это для разных популярных баз данных: MySQL, PostgreSQL, MS SQL Server и Oracle...

Как размер пакета, режим вывода и интервал срабатывания триггера потоковой обработки влияют на скорость вычислений в приложении Apache Spark Structured Streaming и как настроить эти параметры. Хотя скорость обработки данных средствами Apache Spark Streaming зависит от многих факторов, включая саму структуру и формат обрабатываемых данных, в большинстве случаев ее можно повысить, задав оптимальные настройки следующих параметров: Будучи основанном на Spark SQL, Structured Streaming используется для...