Scratch (Скретч) что это за программа и для чего она нужна
376 смотрели · 2 года назад
Что такое Apache Spark и как он используется в Big Data
В работе с Big Data используется много разных инструментов. Даже для одних и тех же задач существует несколько технологий, у каждой из которых свои особенности и недостатки. Может быть сложно разобраться во всем этом многообразии и что-то выбрать. Чтобы помочь в этом, мы расскажем об одном из инструментов — Apache Spark. Вы узнаете, что это такое, как он используется при работе с большими данными и чем он может помочь. Также мы сравним его с другой похожей технологией — Hadoop MapReduce. Что такое...
Как использовать Spark по максимуму? Знают в NewProLab: ведущий провайдер курсов в области Big Data объявляет запуск продвинутого онлайн-курса по работе с фреймворком Spark. "Apache Spark Advanced": старт 16 ноября. Оставляйте заявку, задавайте вопросы: https://clck.ru/YRgxb Углубленный курс для дата-инженеров и разработчиков, имеющих практический опыт работы со Spark. Вы отработаете навыки, необходимые для ускорения обработки данных и усовершенствования архитектуры существующих проектов, глубоко погрузитесь в Dataframe API, py4j в pyspark, Spark Structured Streaming, Scala UDF в pyspark, org.apache.spark.sql.Row, разработку коннекторов с использованием Datasource v1 API, параллелизм задач. Преподает: Андрей Титов (NVIDIA). Учитесь у лучших: программа не имеет аналогов на рынке