Источник: Nuances of Programming Обычно дата-инженерам приходится получать данные из нескольких источников, а затем очищать их и агрегировать. Часто эти процессы необходимо применять на больших объемах данных. Сегодня мы рассмотрим одно из самых фундаментальных понятий в области вычислительных технологий и в частности дата-инженерии  —  параллельные вычисления. С их помощью современные приложения могут обрабатывать огромные объемы данных за относительно небольшие промежутки времени. Обсудим преимущества параллельных вычислений в целом, а также их недостатки...

Как говорилось ранее, продолжаем рассматривать ЯПФ в качестве плана (расписания) выполнения программ на поле параллельных вычислителей (пока неопределённой размерности – размер поля будет соответствовать заявленным целям). Начнём исследования с самого простейшего - изучим с помощью инструмента SPF зависимости пространственной и временно́й сложности алгоритмов (фактически ширины и высоты ЯПФ) от величины обрабатываемых данных (порядка матриц для задач класса линейной алгебры). На рис. 24 приведены...