Подумав, легко прийти к схеме параллельной вычислительной установки, представленной на рис. 6. Здесь исходными данными являются арифметические (логические тоже) выражения; для определённости работаем на уровне машинных команд и считаем, что арифметические выражения (формулы) полностью соответствуют машинных командам (инструкциям). Кстати, этот подход соответствует концепции ILP (Instruction-Level Parallelism, параллелизм уровня машинных инструкций). “Облако операторов” как раз и состоит из (неупорядоченного)...

В этой статье мы разберём другую составляющую гибридных параллельных вычислений, а именно — вычисления с использованием распределённой памяти. Процессы и кластеры В предыдущей части мы узнали, что вычисления с совместной памятью — это использование потоков для разделения задачи на несколько небольших частей, которые могут выполняться параллельно в каждом узле кластера. Память разделена между всеми потоками, отсюда и название — совместно используемая память. Напротив, распараллеливание в вычислениях с распределённой памятью осуществляется через несколько процессов, разделённых на потоки...