Изучаем DataLad: систему управления данными и совместной работы

DataLad - это бесплатная и открытая система управления распределенными данными, которая предоставляет инструменты для отслеживания данных, создания структуры, обеспечения воспроизводимости, с развитой поддержкой сообщества и интеграцией с широко используемыми инструментами современной инфраструктуры данных.

Отслеживание изменений в данных

DataLad основан на Git и git-annex, что позволяет вам контролировать версии произвольно больших файлов в наборах данных без необходимости в специальных структурах данных или сложной инфраструктуры. Вы можете:

- Отслеживать изменения в ваших данных

- Возвращаться к предыдущим версиям

- Вести полную историю происхождения данных

- Обеспечивать полную воспроизводимость

Сохранение и поддержка сложной иерархии в данных

Набор данных DataLad представляет собой каталог с файлами, управляемый DataLad. Вы можете связывать другие наборы данных, известные как поднаборы данных, и выполнять команды рекурсивно по произвольно глубокой иерархии наборов данных. Это помогает вам создавать структуру, сохраняя при этом возможности расширенного отслеживания происхождения, версионирования и получения файлов для дальнейшего использования.

Преимущества DataLad

DataLad - это бесплатный и открытый инструмент, написанный на Python, совместимый со всеми основными операционными системами. Его можно использовать через графический пользовательский интерфейс или через командную строку для:

- Создания новых наборов данных локально

- Клонирования других наборов данных

- Получения содержимого по требованию

- Сохранения изменений в наборах данных

- Удаления содержимого по необходимости

- Отправки изменений в удаленное местоположение

DataLad — интеграция с другими инструментами

DataLad интегрирован с различными хостинг-сервисами и платформами управления данными, а также используется научным сообществом. Экспортируйте наборы данных в сторонние сервисы, такие как GitHub или Figshare, с помощью встроенных команд. Расширьте DataLad для совместимости с вашим предпочитаемым поставщиком данных или рабочим процессом. Или воспользуйтесь множеством других сервисов, совместимых с DataLad, таких как Dropbox или Amazon S3.

Узнать больше обо всех возможностях интеграции, расширениях и примерах использования, чтобы найти подходящее решение для ваших данных можно по ссылкам на полезные ресурсы:

• Ноутбук с описанием основных принципов работы и примерами использования DataLad на практике
• Курс по управлению данными в исследованиях с использованием DataLad
• Практические учебники и видеоуроки DataLad
• Руководство пользователя DataLad
• Документация для разработчиков