Разбираем одну мощнейшую методику обработки данных, позволяющую быстрее работать с большими данными. Это в несколько раз ускоряет бизнес-аналитику, получение отчетности и другие задачи, связанные с обработкой множества файлов. Что такое пакетная обработка данных Система пакетной обработки данных — это когда данные обрабатывают пакетами. То есть массив информации, сходной по смыслу или формату, помещают в некоторый контейнер, а потом производят над ней какое-то действие. Например, изменяют или отбирают нужные файлы по заданным критериям...

Источник: Nuances of Programming С большими наборами данных работать сложно, особенно при отсутствии необходимых ресурсов. У большинства из нас нет доступа к распределенному кластеру, GPU-установкам или более 8 ГБ оперативной памяти. Это не значит, что мы не можем работать с большими данными. Просто нужно обрабатывать их по одному фрагменту за раз, то есть при итерации полного набора данных работать с отдельно с каждым подмножеством. Набор данных Посмотрим, как это можно сделать на примере большого набора данных о транзакциях (генерируемого случайным образом)...