Добавить в корзинуПозвонить
Найти в Дзене
INZHENERKA.TECH

Для таблицы на 50 тысяч партиций Hive планирует запрос минутами, а Iceberg — секундами

За счёт чего так получается — разбираем в карусели по слоям метаданных. Заодно станет понятно, почему записи не зависят от размера таблицы, а ETL и ad-hoc уживаются на одной таблице без блокировок. 26 апреля стартует наш симулятор по проектированию Lakehouse на Apache Iceberg + Spark. Еще можно присоединиться → [ссылка]

Для таблицы на 50 тысяч партиций Hive планирует запрос минутами, а Iceberg — секундами.

За счёт чего так получается — разбираем в карусели по слоям метаданных. Заодно станет понятно, почему записи не зависят от размера таблицы, а ETL и ad-hoc уживаются на одной таблице без блокировок.

26 апреля стартует наш симулятор по проектированию Lakehouse на Apache Iceberg + Spark.

Еще можно присоединиться → [ссылка]

-2
-3
-4
-5
-6
-7
-8
-9