4 года назад
Ускоряем работу с pandas при помощи modin
Источник: Nuances of Programming Pandas — библиотека, которая не нуждается в представлении, если речь идёт о работе с данными. Она привносит высокую производительность, структурирование данных и удобную работу с ними. Однако при работе со значительно большим количеством данных, например, на одноядерном процессоре, работа библиотеки замедляется. Для сохранения производительности понадобится использование распределённых систем. Ещё один способ повысить производительность заключается в увеличении крутизны кривой обучения...
480 читали · 5 лет назад
День 3: Смотрим данные. Pandas
Как правило все начинается с данных. Данные могут быть в абсолютно разном формате, например в виде csv-файлов (достаточно распространённый случай). Прежде чем двигаться дальше убедитесь, что вы зарегистрированы в kaggle и у вас установлен CLI клиент kaggle - <ссылка на kaggle нарратив> Подробнее о том, что это такое можно почитая здесь. Возьмём небольшой набор данных о студентах в формате CSV (comma separated values). Читаем данные с помощью shell команд Первое, что логично было бы сделать - посмотреть что это за данные...