Выявить и оценить изменения в разных версиях одной модели данных можно, собственноручно написав свой скрипт или с помощью встроенной в dbt функции наследования данных. Но для обычного бизнес-пользователя или начинающего дата-аналитика это слишком сложно. В этих случаях пригодится Datafold (https://www.datafold.com/) – облачный продукт с множеством полезных функций, включая проверку качества данных, их каталог, мониторинг и оповещение. Функция происхождения данных основана на столбцах и помогает оценивать последующие изменения в пользовательских моделях, в частности, сравнивать изменения между датасетами на уровне столбца и значения. Для крупных проектов пригодится интеграция с dbt. Datafold работает путем прямого подключения к пользовательскому хранилищу данных и использует Github для сравнения изменений, внесенных в модели dbt, чтобы гарантировать сохранение качества данных.
На практике Datafold пригодится продуктовым аналитикам при A/B-тестировании гипотез о пользовательских предпочтениях и использовании продуктовых фич, дата-инженерам – для регрессионного тестирования ETL-конвейеров и пользователям BI-систем для настройки отчетов.
Пример использования: https://medium.com/geekculture/what-if-you-could-compare-changes-in-your-data-models-now-you-can-75f039580d08
#машинноеобучение