В этой статье мы разберём другую составляющую гибридных параллельных вычислений, а именно — вычисления с использованием распределённой памяти. Процессы и кластеры В предыдущей части мы узнали, что вычисления с совместной памятью — это использование потоков для разделения задачи на несколько небольших частей, которые могут выполняться параллельно в каждом узле кластера. Память разделена между всеми потоками, отсюда и название — совместно используемая память. Напротив, распараллеливание в вычислениях с распределённой памятью осуществляется через несколько процессов, разделённых на потоки...