1281 подписчик

А вы знали, что есть такой агресивный бот ChatBot? Это парсер сайотв от OpenAI, который можно идентифицировать по следующему пользовательскому агенту и строке:

User agent token: GPTBot

Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

И эта штука довольно активно собирает данные с сайтов. При этом, согласно открытым данным, следующие крупные веб-сайты настоящее время блокируют GPTBot:

- Amazon.com - 19 августа 2023 г.

- Quora.com - от 22 августа 2023 г.

- NYTimes.com - 17 августа 2023 г.

- Shutterstock.com - 21 августа 2023 г.

- Wikihow.com – 12 августа 2023 г.

– CNN.com – 22 августа 2023 г.

Как заблокировать и вам? Чтобы убрать лишнюю нагрузку... Установите следующий код в файл Robots.txt:

User-agent: GPTBot

Disallow: /

Русский ИТ бизнес

Около минуты

5 сентября 2023