106 подписчиков
🐍 Terality — злой брат близнец Pandas
Сегодня существует огромное количество инструментов для работы с данными, например, Dask, Vaex, cuDF и, конечно, всеми любимый Pandas. Давайте немного расширим этот арсенал таким инструментом, как Terality.
Если вы спросите, является ли Terality инструментом, который может заменить медленный Pandas – однозначного ответа на этот вопрос дать нельзя. Скорее это тот инструмент, который является братом близнецом, но с куда более хорошими показателями работы с большими данными. Он имеет идентичный синтаксис с Pandas, но работает быстрее и не зависит от железа на вашем ПК.
Звучит заманчиво? — Давайте разбираться.
Terality — инструмент обработки данных, который работает на больших кластерах. С его помощью вы сможете быстро работать с наборами данных любых размеров.
Отсюда следует:
1. У Terality нет ограничений на ОЗУ, а значит и на размер обрабатываемых данных.
2. Все что от вас требуется для обработки сотен ГБ данных — это исключительно высокая скорость интернета.
Простота использования Terality является его главным преимуществом, так как он имеет аналогичный синтаксис с Pandas, переключение между ними займет у вас всего одну строчку кода.
🏎 Terality
@pro_python_code
1 минута
8 августа 2022