Классная практическая статья Working with large CSV files in Python from Scratch рассказывает о хитростях работы с большими CSV-файлами. В статье рассматриваются примеры: — подсчёт строк в большом файле. Для этого применяется mmap, который использует низкоуровневое API операционной системы. Это позволяет ускорить чтение большого файла. Сам mmap заслуживает отдельной статьи. В ней с примерами на питоне объясняется, откуда берётся ускорение, плюс другие интересности, в том числе уровня системных вызовов...

CSV (Comma-Separated Values) — это простой и широко используемый текстовый формат для хранения табличных данных. Каждая строка файла соответствует одной записи, а значения полей в каждой записи разделены запятыми. В различных реализациях и контекстах могут использоваться и другие разделители, такие как точка с запятой или табуляция, но по умолчанию используется запятая. Пример простого CSV файла: Name, Age, City John Doe, 28, New York Jane Smith, 32, Los Angeles Emily Johnson, 25, Chicago В этом примере: import pandas as pd # Чтение CSV файла df = pd...