106 подписчиков
🖥 Как оптимизировать размер памяти при обработке крупных файлов.
Нередко я сталкиваюсь с большими объемами данных, которые требуют дополнительной обработки с помощью известной всем библиотеки Pandas. Однако, загружая или сохраняя огромные датасеты, неприятно столкнуться с ошибкой Memory error. В таких ситуациях применение таких методов, как .drop_duplicates() (удаление дубликатов) или .dropna() (удаление пустых строк) слабо влияет на сокращение занимаемого объема памяти.
Существует несколько способов эффективного решения проблем с памятью.
Около минуты
9 января 2023