Как выполнять анализ данных в формате JSON YAML XML с помощью Python
🔹 Работа с JSON-файлами в Python — просто
🔹 Как быстро читать и записывать JSON (JavaScript Object Notation) в Python? 🔸 JSON нужен, когда нужно хранить или передавать структурированные данные в виде текста. Без явного парсинга приложения будут работать со строками — потеря структуры, ошибки и сложная отладка. 🔸 Чтение: используем open и with, читаем файл в строку и парсим через json.loads(). Это полезно, когда нужен контроль над содержимым перед парсингом (например, предобработка). 🔸 Запись: готовим объект в строку через json.dumps(), затем записываем через with open(...
Python обработал 7,6 ГБ JSON за 0,12 секунды
Здесь интересно, куда уходило время. Дэниел Лемир, исследователь производительности, взял 2,2 млн событий GitHub, чтобы посчитать открытые PR по языкам. А Python при обычном разборе создавал кучу словарей, списков и строк, которые для этой задачи вообще не нужны. В эксперименте с fastsimdjson и lazy=True Python-объекты создаются только для запрошенных полей. Сборка Python без GIL позволяет обрабатывать события в 64 потоках внутри одного процесса. У каждого потока свои счётчики, в конце их складывают. Зачем собирать весь объект, если нужна только малая часть? У Лемира получилось около 0,12 секунды...