Полезные советы от Jon Henshaw
«До тех пор, пока сайты исключают OAI-SearchBot в своем файле Robots.txt, контент их сайта будет иметь право отображаться в результатах поиска ChatGPT».
Итак, если вы заинтересованы в появлении в результатах поиска ChatGPT, Google и Bing, но все же хотите заблокировать их и другие компании, занимающиеся искусственным интеллектом, от использования их контента для обучения модели LLM, вы можете использовать список исключений роботов, которым поделился Джон в своем Robots.txt.
User-agent: Amazonbot
User-agent: Anthropic-ai
User-agent: Applebot-Extended
User-agent: AwarioRssBot
User-agent: AwarioSmartBot
User-agent: Bytespider
User-agent: CCBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: Cohere-ai
User-agent: DataForSeoBot
User-agent: FacebookBot
User-agent: Google-Extended
User-agent: GPTBot
User-agent: ImagesiftBot
User-agent: Magpie-crawler
User-agent: Omgili
User-agent: Omgilibot
User-agent: Peer39_crawler
User-agent: Peer39_crawler/1.0
User-agent: PerplexityBot
User-agent: YouBot
Disallow: /
Начав свою карьеру в SEO, я понимаю, зачем традиционным поисковым системам, таким как Google, Apple и Bing, нужен доступ к краулерам — они индексируют контент, чтобы связать пользователей с релевантной информацией на основе поискового поведения. Сайты, как правило, содержат общедоступную информацию, предназначенную для общего доступа, а не государственную тайну.
НО
Ни один опытный SEO-специалист, которого я знаю, не стал бы рассматривать блокировку стандартных поисковых систем через Robots.txt, так как это прямо противоречит целям видимости. Теперь, когда поисковые системы с искусственным интеллектом, такие как Perplexity, ARC и GPT Search, используют семантическое понимание для соответствия намерениям пользователя, их блокировка кажется столь же контрпродуктивной. Эти механизмы искусственного интеллекта кажутся такими же легитимными, как и традиционные поисковые компании, в отношении защиты данных, а в некоторых случаях даже более легитимными.
Наша роль как современных маркетологов заключается не в том, чтобы противостоять технологической эволюции в поисковом поведении, а в том, чтобы:
- Наблюдение и понимание новых тенденций.
- Задавайте содержательные вопросы об их влиянии.
- Внедрять стратегии, которые лучше обслуживают нашу аудиторию.
Будущее поиска, несомненно, основано на искусственном интеллекте. Эти новые механизмы нуждаются в доступе к информации так же, как и их традиционные аналоги для эффективной работы. Давайте примем прогресс, а не будем препятствовать ему.
Больше полезных новостей и инструментов на нашем телеграм-канале https://t.me/siteanalyzer
