251 подписчик
💡 6 ТБ кода: проверьте репозиторий в The Stack
Hugging Face запустила Am I in The Stack — проверку присутствия репозитория в обучающем наборе The Stack. Инструмент помогает найти собственный код и подготовить запрос на удаление.
BigCode собрала набор из публичных репозиториев GitHub с разрешительными лицензиями. Для каждого файла сохранили происхождение и лицензионные метаданные, но точность автоматического распознавания лицензий не гарантирована.
💾 более 6 ТБ кода в версии 1.1
🧩 358 языков программирования
🗂 5,28 млрд уникальных файлов до фильтрации
🧹 около 40% файлов отсеяли как полные или близкие дубликаты
💡 Почему важно: Для разработчиков открытых библиотек это быстрый способ проверить, попал ли их код в обучение моделей. Если лицензия определена неверно или код нужно исключить, можно запросить удаление.
Командам стоит проверить ключевые репозитории и зафиксировать лицензионную политику для будущих публикаций. Происхождение обучающих данных постепенно становится частью обычного управления кодом и рисками.
Вы бы стали удалять свой открытый код из обучающего набора?
🦋 Читать полностью: dzen.ru/...7va
Около минуты
3 дня назад