Переход с Pandas на Spark и Scala не настолько труден, насколько вы можете предположить, при этом в итоге ваш код будет выполняться быстрее, и, скорее всего, качество его написания тоже возрастёт.

Scala native. Думаю, что каждый, кто знаком и со скалой и с питоном замечал, что скала работает намного быстрее, чем питон, а программировать сложные алгоритмы на языке скала проще, так как не приходится избавляться от хвостовой рекурсии, добавляя чисто технические переменные управления циклом, либо используя батутную реализацию хвостовой рекурсии. В то же время, скала - это не просто оболочка над JVM - это полноценный язык, который имеет реализацию для JavaScript (scala.js) и для llvm (scala...