Загрузка данных из Яндекс Метрики в ClickHouse для использования в DataLens

Работа с данными Яндекс Метрики при прямом подключении через API имеет ряд ограничений, из-за недоступности ряда данных и функций. Связано это с тем, что данные, фактически, не выгружаются и работа с ними ограничена функциями предоставляемыми самим API. Плюс к этому могут быть ограничения по ресурсам и лимитам. Поэтому рекомендуется забирать из Метрики сырые данные, размещать их в базе данных, работать уже с ними.

На данный момент для этих целей уже нельзя воспользоваться скриптом, предлагаемым Метрикой. Был тут: https://yandex.ru/dev/metrika/doc/api2/logs/clickhouse-integration.html но пока можно воспользоваться сервисом DataSphere https://cloud.yandex.ru/docs/datalens/tutorials/data-from-metrica-yc-visualization.

Изучив оба варианта, и учитывая потребности и возможности многих пользователей DataLens, решил еще больше упростить задачу и сделал на их основе пару примитивных скриптов, которых может быть достаточно для разовой или регулярной загрузки данных из метрики в базу данных ClickHouse. Так же можно использовать промежуточный результат в виде двух csv файлов.

Все необходимые параметры для выгрузки и загрузки указываются непосредственно в скриптах. В них же даны ссылки на необходимые дополнительные материалы. Сами скрипты имеют линейную форму, упрощающую изучение и изменение под собственные нужны. Запускать нужно последовательно выгрузку из метрики и загрузку в ClikHouse. Если не указывать саду начала и конца, будут выгружаться данные за предыдущие сутки. Соответственно скрипты можно запускать автоматически каждый день для пополнения данных свежими порциями.

Краткое описание и скрипты доступны тут: https://github.com/handgunman/primitive-scripts

В этом же репозитории имеется скрипт для загрузки в PostgreSQL

Список данных (полей) доступных к выгрузки можно найти тут: https://yandex.ru/dev/metrika/doc/api2/logs/intro.html

Статьи по использованию PostgreSQL и ClickHouse для хранения данных из CSV с последующей визуализацией в DataLens