202 читали · 10 месяцев назад
Метаданные (metadata). Что это такое, простыми словами
Метаданные помогают организовывать и понимать данные, делая их более полезными и доступными для использования. Рассказываем, что такое метаданные простыми словами, а также как их посмотреть, удалить, проверить По своей сути метаданные — это как этикетки на продуктах в магазине. На этикетках указывается информация о продукте: его название, состав, срок годности и т.д. Точно так же метаданные предоставляют информацию о данных: какие это данные, откуда они взяты, кто их создал, когда они были созданы, какая структура у данных и так далее...
2 месяца назад
Управляем моделью с помощью метаданных в dbt
Это приключение посвящено созданию продвинутых макросов, которые используют метаданные модели для управления инкрементальностью и тестами качества. Задание параметров модели в виде метаданных позволяет наглядно представлять их в каталоге данных и переиспользовать в разных задачах. Квест подготовлен для раскрытия темы в рамках dbt Meetup #5 и нацелен на инженеров аналитики, которые готовы глубоко погрузиться в написание макросов dbt для решения сложных практически значимых задач. Предложенный подход...