Источник: Nuances of Programming Обычно дата-инженерам приходится получать данные из нескольких источников, а затем очищать их и агрегировать. Часто эти процессы необходимо применять на больших объемах данных. Сегодня мы рассмотрим одно из самых фундаментальных понятий в области вычислительных технологий и в частности дата-инженерии — параллельные вычисления. С их помощью современные приложения могут обрабатывать огромные объемы данных за относительно небольшие промежутки времени. Обсудим преимущества параллельных вычислений в целом, а также их недостатки...
Вспомним Ежи Леца – юмор у него довольно чёрный, но ведь автору и нам с Вами было бы много приятнее знать заранее, что параллельные вычисления возможны, чем противоположное!.. Ну ежели невозможны – ну так и невозможны… а самая возможность выполнимости подхлёстывает и “зовёт к работе”. Тут придётся сделать мысленный эксперимент, но несложный. Зададимся вот каким вопросом - до какой степени допусти́мо распараллелить заданный формулой алгоритм любой сложности? Ведь говорят же учёные, что существует...