Google-Agent против Googlebot: Google определяет техническую границу между доступом к ИИ по запросу пользователя и поисковыми

Google-Agent против Googlebot: Google определяет техническую границу между доступом к ИИ по запросу пользователя и поисковыми системами-сборщиками информации

Google интегрирует возможности искусственного интеллекта в свои продукты, и в журналах серверов появилась новая техническая сущность: Google-Agent. Для разработчиков программного обеспечения понимание этой сущности имеет решающее значение для различия между автоматизированными индексаторами и запросами, инициированными пользователями в режиме реального времени.

В чём основное различие: Fetchers vs. Crawlers

В отличие от автономных сборщиков информации (например, Googlebot), которые десятилетиями определяли структуру интернета, Google-Agent работает по другому набору правил и протоколов.

Основное техническое различие между традиционными ботами Google и Google-Agent заключается в механизме запуска.

* Автономные сборщики информации (например, Googlebot): они обнаруживают и индексируют страницы по расписанию, определённому алгоритмами Google, для поддержания поискового индекса.

* Fetchers по запросу пользователя (например, Google-Agent): эти инструменты действуют только тогда, когда пользователь выполняет определённое действие. Согласно документации разработчика Google, Google-Agent используется продуктами Google AI для получения контента из интернета в ответ на прямую команду пользователя.

Поскольку эти инструменты являются реактивными, а не проактивными, они не «прочёсывают» интернет, переходя по ссылкам для обнаружения нового контента. Вместо этого они действуют как прокси для пользователя, получая конкретные URL-адреса по запросу.

Исключение для robots.txt

Одним из наиболее значительных технических нюансов Google-Agent является его взаимосвязь с robots.txt. В то время как автономные сборщики информации, такие как Googlebot, строго следуют директивам robots.txt, чтобы определить, какие части сайта индексировать, сборщики информации по запросу пользователя обычно работают по другому протоколу.

Документация Google прямо указывает, что сборщики информации по запросу пользователя игнорируют robots.txt. Логика этого обхода основана на «прокси»-природе агента. Поскольку запрос инициирован пользователем, который хочет взаимодействовать с определённым фрагментом контента, сборщик информации ведёт себя скорее как стандартный веб-браузер, чем как поисковый робот. Если владелец сайта блокирует Google-Agent через robots.txt, инструкция обычно игнорируется, поскольку запрос рассматривается как ручное действие от имени пользователя, а не как попытка массового сбора информации.

Идентификация и строки User-Agent

Разработчики должны иметь возможность точно идентифицировать этот трафик, чтобы его не помечали как вредоносный или несанкционированный сбор информации. Google-Agent идентифицирует себя через определённые строки User-Agent.

Основная строка для этого сборщика информации:

`Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-Agent)`

В некоторых случаях используется упрощённый токен Google-Agent.

Для обеспечения безопасности и мониторинга важно о...

Читать далее