Классная практическая статья Working with large CSV files in Python from Scratch рассказывает о хитростях работы с большими CSV-файлами. В статье рассматриваются примеры: — подсчёт строк в большом файле. Для этого применяется mmap, который использует низкоуровневое API операционной системы. Это позволяет ускорить чтение большого файла. Сам mmap заслуживает отдельной статьи. В ней с примерами на питоне объясняется, откуда берётся ускорение, плюс другие интересности, в том числе уровня системных вызовов...

В этой статье представлены 5 способ сортировки данных с помощью библиотеки Pandas. Большие активы данных часто бывают запутаны, особенно когда вам приходится извлекать их с веб-сайтов, серверов или других источников данных. Приложения на основе пользовательского интерфейса, такие как MS Excel, хороши для работы с простыми наборами данных, но могут возникнуть проблемы, когда объем данных становится больше. Это хорошая причина для перехода на Python для выполнения более сложных операций с данными...