Классная практическая статья Working with large CSV files in Python from Scratch рассказывает о хитростях работы с большими CSV-файлами. В статье рассматриваются примеры: — подсчёт строк в большом файле. Для этого применяется mmap, который использует низкоуровневое API операционной системы. Это позволяет ускорить чтение большого файла. Сам mmap заслуживает отдельной статьи. В ней с примерами на питоне объясняется, откуда берётся ускорение, плюс другие интересности, в том числе уровня системных вызовов...

Источник: Nuances of Programming Курс SkillFactory Java-разработчик. Освойте backend-разработку и программирование на Java, Spring и основы DevOps. Соберите портфолио проектов и начните откликаться на вакансии уже после 7 месяцев обучения. Вступление CSV-файлы  —  один из распространенных способов хранения структурированных данных и обмена ими между серверами наряду с другим популярным форматом структурированных данных. Существует множество библиотек для чтения CSV-файлов, и одна из самых популярных  —  это Open CSV...