Источник: Nuances of Programming Обычно дата-инженерам приходится получать данные из нескольких источников, а затем очищать их и агрегировать. Часто эти процессы необходимо применять на больших объемах данных. Сегодня мы рассмотрим одно из самых фундаментальных понятий в области вычислительных технологий и в частности дата-инженерии  —  параллельные вычисления. С их помощью современные приложения могут обрабатывать огромные объемы данных за относительно небольшие промежутки времени. Обсудим преимущества параллельных вычислений в целом, а также их недостатки...

Pandas поддерживает различные типы вычислений по обеим осям датафрейма, как по столбцам, так и по строкам. Поскольку Pandas это библиотека для работы с большими данными, содержащими сотни тысяч строк и столбцов, и в ней предусмотрены инструменты для проведения вычислений с такими большими датафреймами. Эти инструменты оптимизированы для быстрого выполнения операций и позволяют быстро и легко в одну две строчки кода совершать вычисления в огромном датафрейме. В данной статье будут рассмотрены только элементарные операции вычислений как в целом по датафрейму, так по столбцам и строкам...