Источник: Nuances of Programming Обычно дата-инженерам приходится получать данные из нескольких источников, а затем очищать их и агрегировать. Часто эти процессы необходимо применять на больших объемах данных. Сегодня мы рассмотрим одно из самых фундаментальных понятий в области вычислительных технологий и в частности дата-инженерии  —  параллельные вычисления. С их помощью современные приложения могут обрабатывать огромные объемы данных за относительно небольшие промежутки времени. Обсудим преимущества параллельных вычислений в целом, а также их недостатки...

Начиная достаточно серьёзное исследование, следует “сказать пару слов”. В первую очередь – ЗАЧЕМ? С какой целью? Что мы хотим узнать?.. Говорят – Наука наце́лена на будущее… вот это будущее мы и хотим узнать! При этом мы решаем чисто практическую задачу – с какими параметрами (из них основные - число параллельных вычислителей и объём оперативной памяти) понадобится вычислительные система для работы программы (построенной согласно данного алгоритма) с такими-то параметрами (размерами обрабатываемых...