Всем привет! И в сегодняшнем посте мы рассмотрим 2 популярных инструмента для обработки данных PySpark и Pandas на примере сгенерированных данных в локальном режиме. Очень часто слышу от людей, которые только-только пришли в область дата инженерии или ходят вокруг нее, что PySpark - это продвинутый Pandas. Отчасти, это так, но не совсем. Давайте разбираться. Начнем с истории PySpark. Продолжим историей Pandas. То есть pandas вышел раньше и это его первый плюс. Как следствие - большая популярность...

Архитектура памяти Apache Ignite позволяет хранить и обрабатывать данные и индексы как в виртуальной памяти, так и на дисках серверов. Первоначально первые версии Apache Ignite действительно могли использовать только виртуальную память, но в процессе развития продукта была получена возможность использования дисков. Хорошо продуманная модель данных может повысить производительность вашего приложения, более эффективно использовать ресурсы и помочь в достижении целей. Чтобы понять, как данные хранятся...