Основная проблема при работе с BigData – это не написание скрипта для получения результата, а максимальное сокращение времени его работы и объема затрачиваемых ресурсов. Для решения этих задач отлично подходит Apache Spark с его удивительно гибкими возможностями по оптимизации кода. В этом посте я опишу несколько способов оптимизации запросов. https://newtechaudit.ru/spark-sposoby-optimizaczii-zaprosov/