Недавно прочитал в новостях, что разработчики OpenAI предоставили возможность владельцам сайтов скрывать содержимое своих сайтов от роботов ChatGPT. Это действительно интересная проблема нашего времени и о ней стоит подумать, особенно если вы автор контента.
Что такое GPTbot?
Это робот, который, как поисковик, обходит по ссылкам все страницы с текстами в интернете, анализирует их и обучает свои алгоритмы.
Что это значит для нас как для владельцев сайта и создателей контента, писателей текстов и т.д? Этот бот будет использовать плоды вашего труда, чтобы ещё лучше нас заменить. Но при этом, конечно мы с вами от этого ничего не получим. А компания OpenAI заработает на этом денег.
Как закрыть сайт от бота ChatGPT?
Самое простое это внести в файл Robots.txt вашего сайта строку:
User-agent: GPTBot Disallow: /
Это запретит боту ChatGPT читать и индексировать страницы вашего сайта, но это не точно. Ведь по большому счёту это лишь директива этому самому боту не индексировать ваш сайт, а вот станет ли он её исполнять это уже на совести разработчиков из OpenAI
Более надёжным способом является внесение адресов бота в список блокировки web-сервера или, ещё лучше, заблокировать в межсетевом экране. Вот этот список.
20.15.240.64/28
20.15.240.80/28
20.15.240.96/28
20.15.240.176/28
20.15.241.0/28
20.15.242.128/28
20.15.242.144/28
20.15.242.192/28
40.83.2.64/28
Список на самом деле опять же предоставлен самой компанией OpenAI, но нет гарантий, что они не будут сканировать ваши сайты с других адресов и от имени другого бота. Но хоть что-то.
Что дальше?
К сожалению на данный момент подобными инструментами поделилась только OpenAI, но ChatGPT хоть и самый известный, но не единственный. Сервисы с другими языковыми моделями могут продолжать сканировать ваши сайты и улучшать свои алгоритмы продуктами вашего интеллектуального труда ничего не давая вам в замен. И лично я считаю это проблемой.
Например здесь на дзене блокировки ИИ от OpenAI в robots.txt я не обнаружил, возможно она настроена на уровне веб-сервера. Но не является ли наше творчество на Дзене материалом для обучения коммерческих языковых моделей нам не известно.
А что вы думаете? Если знаете как заблокировать другие боты ИИ, пишите в комментариях!
