200 читали · 5 лет назад
Dask Delayed - как с легкостью распараллелить ваш код Python
Распараллеливайте любую функцию с помощью одного декоратора Все мы знаем, что Python - не самый быстрый язык программирования. Его механизм глобальной блокировки интерпретатора (GIL) позволяет только одному потоку одновременно выполнять байт-код Python...
347 читали · 4 года назад
Параллельные вычисления: введение
Источник: Nuances of Programming Обычно дата-инженерам приходится получать данные из нескольких источников, а затем очищать их и агрегировать. Часто эти процессы необходимо применять на больших объемах данных. Сегодня мы рассмотрим одно из самых фундаментальных понятий в области вычислительных технологий и в частности дата-инженерии  —  параллельные вычисления. С их помощью современные приложения могут обрабатывать огромные объемы данных за относительно небольшие промежутки времени. Обсудим преимущества параллельных вычислений в целом, а также их недостатки...