Разработка программ для компьютеров эволюционировала по мере развития самих компьютеров. Магистральное направление — отдаление от архитектуры компьютера. Это не значит, что про нее не надо думать. Про нее не обязательно думать. В контексте того программирования, которым я занимаюсь — вычислений — приходится помнить про память, диск, процессор и его регистры, не говоря уж про интерконнект и взаимодействие параллельных процессов. Тем не менее, о многом нет необходимости думать, пока такая необходимость не возникнет...

Источник: Nuances of Programming Обычно дата-инженерам приходится получать данные из нескольких источников, а затем очищать их и агрегировать. Часто эти процессы необходимо применять на больших объемах данных. Сегодня мы рассмотрим одно из самых фундаментальных понятий в области вычислительных технологий и в частности дата-инженерии  —  параллельные вычисления. С их помощью современные приложения могут обрабатывать огромные объемы данных за относительно небольшие промежутки времени. Обсудим преимущества параллельных вычислений в целом, а также их недостатки...