В данной статье рассмотрены следующие моменты: 1. Создание отчета 2. Создание запроса под отчет 3. Проверка работы в предприятии

Для оптимизации работы с датафреймом Spark заранее позаботьтесь о задании схемы данных. Это уменьшит время загрузки, сэкономит память и позволит избежать неожиданностей при автоматическом определении типов. Для примера будем работать с датасетом о пассажирах Титаника. При загрузке данных из источников, не хранящих информацию о типах, по умолчанию колонкам будет присвоен строчный тип: Если хотите установить автоматическое определение типов, воспользуйтесь параметром inferSchema: Типы можно посмотреть...