Если вы столкнулись с ограничениями при работе с распределенными БД, то следующий пост будет крайне полезен. Подробнее о основах Spark DataFrame https://newtechaudit.ru/spark-dataframe/