В данном посте разберём различные способы создания столбцов путем преобразования, вычислений, применения регулярных выражений и т.д. Также мы сравним длительность каждого способа и какой лучше где применить. https://newtechaudit.ru/sravnenie-razlichnyh-sposobov-redaktirovaniya-spark-dataframe/