Источник: Nuances of Programming Обычно дата-инженерам приходится получать данные из нескольких источников, а затем очищать их и агрегировать. Часто эти процессы необходимо применять на больших объемах данных. Сегодня мы рассмотрим одно из самых фундаментальных понятий в области вычислительных технологий и в частности дата-инженерии  —  параллельные вычисления. С их помощью современные приложения могут обрабатывать огромные объемы данных за относительно небольшие промежутки времени. Обсудим преимущества параллельных вычислений в целом, а также их недостатки...

Сегодня — немного общеизвестных сведений о параллельных вычислениях. О чем идет речь? Об использовании более, чем одного вычислительного устройства, для решения задачи. Ничего нового: еще во времена арифмометров расчеты вели параллельно несколько расчетчиков. Очень многое зависит от алгоритма, и тут могут возникнуть сюрпризы. Например, уравнение бегущей волны в виде "производная по времени равна производной по пространственной переменной" можно решить аналитически: это f(t+x), где f(x) — начальное распределение...