После того как в начале этого года была анонсирована структура открытой экосистемы ИИ, некоммерческая организация Creative Commons выступила в поддержку технологии «плати за сканирование» — системы, которая автоматизирует компенсацию за доступ к контенту веб-сайтов со стороны машин, таких как поисковые роботы с искусственным интеллектом.
Creative Commons (CC) наиболее известна тем, что возглавила движение за лицензирование, которое позволяет авторам делиться своими работами, сохраняя при этом авторские права. В июле организация объявила о плане по созданию правовой и технической базы для обмена наборами данных между компаниями, которые контролируют эти данные, и поставщиками ИИ, которые хотят использовать их для обучения.
Теперь некоммерческая организация предварительно поддерживает системы платного доступа, заявляя, что относится к ним «с осторожной поддержкой».
«При ответственном подходе модель pay-to-crawl может стать для веб-сайтов способом поддерживать создание и распространение своего контента, а также управлять альтернативными способами использования, сохраняя контент в открытом доступе там, где в противном случае он не был бы опубликован или исчез за ещё более строгими платными подписками», — говорится в сообщении в блоге CC.
Идея pay-to-crawl, предложенная такими компаниями, как Cloudflare, заключается в том, чтобы взимать плату с ИИ-ботов каждый раз, когда они сканируют сайт для сбора контента, необходимого для обучения и обновления моделей.
Раньше веб-сайты свободно позволяли поисковым роботам индексировать свой контент для включения в поисковые системы, такие как Google. Они получали выгоду от этого, так как их сайты отображались в результатах поиска, что привлекало посетителей и увеличивало количество кликов. Однако с появлением технологии искусственного интеллекта ситуация изменилась. Получив ответ от чат-бота с искусственным интеллектом, пользователь вряд ли перейдет по ссылке на источник.
Этот сдвиг уже нанёс сокрушительный удар по издателям, уничтожив поисковый трафик, и нет никаких признаков того, что ситуация изменится.
С другой стороны, система оплаты за сканирование может помочь издателям оправиться от удара, который ИИ нанес их доходам. Кроме того, она может быть более эффективной для небольших веб-издателей, у которых нет возможности заключать разовые сделки с поставщиками ИИ. Крупные сделки были заключены между такими компаниями, как OpenAI и Condé Nast, Axel Springer и другими, а также между Perplexity и Gannett, Amazon и The New York Times и Meta и различными медиаиздателями, среди других.
Компания CC высказала несколько предостережений в отношении поддержки технологии pay-to-crawl, отметив, что такие системы могут привести к концентрации власти в интернете. Кроме того, они потенциально могут блокировать доступ к контенту для «исследователей, некоммерческих организаций, учреждений культурного наследия, преподавателей и других лиц, работающих в общественных интересах».
В нём был предложен ряд принципов ответственного использования технологии pay-to-crawl, в том числе отказ от использования этой технологии по умолчанию для всех веб-сайтов и от общих правил для интернета. Кроме того, в нём говорилось, что системы pay-to-crawl должны обеспечивать регулирование, а не только блокировку, и должны сохранять доступ для общественных интересов. Они также должны быть открытыми, совместимыми и создаваться с использованием стандартизированных компонентов.
Cloudflare — не единственная компания, инвестирующая в платную индексацию.
Microsoft также создаёт платформу искусственного интеллекта для издателей, и более мелкие стартапы, такие как ProRata.ai и TollBit, тоже начали этим заниматься. Другая группа под названием RSL Collective объявила о создании собственной спецификации для нового стандарта под названием Really Simple Licensing (RSL), который будет определять, к каким частям веб-сайта могут получить доступ поисковые роботы, но не будет блокировать их. Cloudflare, Akamai и Fastly с тех пор внедрили RSL, который поддерживается Yahoo, Ziff Davis, O'Reilly Media и другими.
Компания CC также была в числе тех, кто объявил о своей поддержке RSL, наряду с сигналами CC в рамках более масштабного проекта по разработке технологий и инструментов для эпохи искусственного интеллекта.