Если классические алгоритмы сжатия — это универсальные «грузчики», складывающие байты в коробки, то OpenZL — это логист, который знает, что внутри каждой коробки.
Meta представила OpenZL — открытый фреймворк форматно-осведомлённого сжатия, который сочетает точность специализированных алгоритмов с универсальностью одного бинарного декодера.
По сути, это эволюция идей Zstandard, но с интеллектом: OpenZL умеет понимать структуру данных — будь то таблицы, временные ряды или ML-тензоры — и использует эту информацию для создания оптимальной схемы сжатия.
🚀 Почему Zstandard перестал быть пределом
🧠 Когда Meta в 2016 году представила Zstandard, он стал стандартом де-факто в дата-центрах: высокая скорость, надёжность, SIMD-оптимизация. Но за годы потенциал универсального подхода к сжатию «всё подряд» стал исчерпываться.
📊 Большие данные сегодня — не просто «байтовая каша»:
- они структурированы (таблицы, JSON, колонки),
- содержат повторяющиеся поля (например, категории или индексы),
- и часто имеют предсказуемые границы значений.
👉 И вот главный инсайт Meta: если компрессор понимает формат, он может раскрыть внутренние закономерности и сжать данные вдвое эффективнее.
🧩 Как работает OpenZL
OpenZL использует настраиваемую последовательность обратимых преобразований, превращая неструктурированные байты в семантически осмысленные потоки.
Примерно так это выглядит:
1️⃣ Декомпозиция данных: файл разбивается на заголовки и таблицы.
2️⃣ Переход от “массивов структур” к “структуре массивов” — каждый столбец превращается в отдельный поток.
3️⃣ Применение контекстных трансформаций:
- 🔁 delta — для отсортированных числовых полей;
- 🧮 bounded transpose — для значений с известным диапазоном;
- 🧠 tokenize — для строк с ограниченным числом уникальных значений.
4️⃣ Автоматический подбор алгоритма: каждая колонка получает свою оптимальную стратегию.
💡 Результат: для набора SAO из Silesia Compression Corpus OpenZL сжимает данные в 2,06 раза, тогда как Zstd даёт 1,31× и XZ — 1,64×, причём скорость при этом выше — до 340 MB/s на M1 CPU.
⚙️ Интеллектуальное обучение
OpenZL — это не просто набор трансформаций. Он учится сам.
🧩 SDDL (Simple Data Description Language) — язык описания формы данных (строки, поля, типы, диапазоны).
🧠 Trainer — оффлайн-модуль, который строит оптимальный план сжатия (“Plan”), исследуя пространство трансформаций и параметров.
⚙️ Runtime Adaptation — во время сжатия OpenZL собирает статистику (например, длину серий, частоту повторов) и выбирает лучший путь в плане без потери скорости.
💬 А самое впечатляющее — универсальный декомпрессор не требует обновлений. Даже если схема сжатия изменилась, старые файлы всё равно читаются тем же бинарником.
💡 Почему это важно для индустрии
📦 1 бинарник — 100 форматов: единый декомпрессор сокращает риски, расходы на аудит и обновления.
📈 Постоянное самообучение: можно пересобрать планы, не трогая продакшн, а затем мягко «влить» улучшенную конфигурацию.
🔐 Безопасность и надёжность: меньше поверхностей для атак, меньше расхождений между версиями.
🧠 Совместимость с ML и аналитикой: OpenZL особенно эффективен для форматов вроде Parquet, CSV, NumPy, Arrow и временных рядов.
🔬 Пример: как OpenZL сжимает Parquet и CSV
📊 На примерах Binance dataset и NYC TLC Green Trip (в Parquet):
OpenZL анализирует схему таблицы и подбирает стратегию отдельно для числовых, категориальных и строковых колонок. В результате —
🚀 скорость выше Zstd,
📉 объём данных меньше на 30–40%.
📄 На CSV (PPMF dataset) скорость ограничивается парсером — ~64 MB/s, но коэффициент сжатия всё равно рекордный. А если структура неизвестна, OpenZL просто возвращается к Zstd, сохраняя надёжную производительность.
🔭 Что дальше
Meta открыла OpenZL в open source, и теперь сообщество может:
🧰 добавлять собственные кодеки и трансформации,
🧩 расширять SDDL для вложенных структур,
🔬 тестировать временные ряды и многомерные массивы (ML tensors),
⚙️ оптимизировать ядро на C/C++ и SIMD.
В планах — улучшение библиотеки трансформаций для временных рядов и внедрение «компрессионного автопилота», который сам выбирает стратегию на основе данных.
💬 Моё мнение
OpenZL — это не просто «ещё один компрессор». Это смена парадигмы:
📖 не «сжимай байты», а понимай структуру данных.
Meta, по сути, создаёт мост между хранением и смыслом: компрессия становится осведомлённой о контексте, почти как человек, который видит не просто нули и единицы, а таблицу звёзд, тензор нейросети или CSV транзакций.
Это шаг к эпохе семантического сжатия, где компрессор не просто экономит место, а оптимизирует данные под смысл и использование.
📚 Источники
🧠 Вывод: OpenZL — компрессор, который понимает, что он сжимает.
И, возможно, именно это — первый шаг к по-настоящему интеллектуальной обработке данных.