В работе с Big Data используется много разных инструментов. Даже для одних и тех же задач существует несколько технологий, у каждой из которых свои особенности и недостатки. Может быть сложно разобраться во всем этом многообразии и что-то выбрать. Чтобы помочь в этом, мы расскажем об одном из инструментов — Apache Spark. Вы узнаете, что это такое, как он используется при работе с большими данными и чем он может помочь. Также мы сравним его с другой похожей технологией — Hadoop MapReduce. Что такое...

В январе 2021 года команда Apache Spark объявила о новом достижении: система обработки данных на базе Spark смогла сортировать 100 терабайт данных всего за 23 минуты на кластере из 207 машин. Это был удивительный прорыв в области обработки больших данных и подтверждение того, что Apache Spark является одной из самых мощных и эффективных систем анализа данных, способной справляться с огромными объемами информации во время выполнения сложных вычислений. Я и команда Kursfinder изучили более 40 программ обучения и составили список из 10 лучших курсов по Apache Spark...