Источник: Nuances of Programming Обычно дата-инженерам приходится получать данные из нескольких источников, а затем очищать их и агрегировать. Часто эти процессы необходимо применять на больших объемах данных. Сегодня мы рассмотрим одно из самых фундаментальных понятий в области вычислительных технологий и в частности дата-инженерии  —  параллельные вычисления. С их помощью современные приложения могут обрабатывать огромные объемы данных за относительно небольшие промежутки времени. Обсудим преимущества параллельных вычислений в целом, а также их недостатки...

Подумав, легко прийти к схеме параллельной вычислительной установки, представленной на рис. 6. Здесь исходными данными являются арифметические (логические тоже) выражения; для определённости работаем на уровне машинных команд и считаем, что арифметические выражения (формулы) полностью соответствуют машинных командам (инструкциям). Кстати, этот подход соответствует концепции ILP (Instruction-Level Parallelism, параллелизм уровня машинных инструкций). “Облако операторов” как раз и состоит из (неупорядоченного)...