575 читали · 6 лет назад
Vaex: Python библиотека для работы с DataFrame вне памяти и быстрой визуализации
Источник: Nuances of Programming Данных становится всё больше Некоторые массивы данных слишком велики, чтобы поместиться в основной памяти обычного компьютера, не говоря уже о ноутбуке. Тем не менее, все хотят работать с большими данными, но при этом не тратить время на изучение инфраструктуры Hadoop или Spark только для того, чтобы поэкспериментировать с Big Data. Наша мечта Было бы здорово, вот так просто взять и мгновенно загрузить терабайт данных, читая только те части, которые нам нужны, с оптимизацией, на которую умные программисты потратили десятилетия...