Разметка больших массивов данных вручную отнимает у аналитиков десятки часов, а типовые скрипты на Python ломаются, когда строк становится больше нескольких тысяч: инженеры Lamoda собрали инструмент, который делает эту работу через LLM прямо внутри Apache Spark. Lamoda показала конкретный результат: время обработки данных Spark на сопоставимом объёме сократилось с десяти до пяти часов, то есть почти вдвое, без смены оркестратора и хранилищ. Дата-инженер Lamoda Tech Дмитрий Иванов описал, как команда пришла к «llm_markup», Spark-приложению для массовой разметки текстов через вызовы к LLM API...