Удобные «Обзоры ИИ» (AI Overviews), которые Google теперь размещает на верхних позициях в результатах поиска, отбирают трафик у сайтов, на которые пользователи могли бы перейти. Владельцы интернет-ресурсов, пытающиеся ограничить доступ ИИ Google, сталкиваются с тем, что их сайты исчезают из поисковых результатов, что приводит к еще большему падению посещаемости. Это происходит потому, что генератор ИИ-ответов и поисковый бот Google функционируют как единая система, и невозможно отдельно контролировать доступ для каждого из них.
Доминирование Google в поиске, которое федеральный суд на прошлой неделе определил как «незаконную монополию», даёт компании решающее преимущество — издателям приходится выбирать между предоставлением своего контента для использования моделями ИИ и исчезновением из поиска Google, являющегося главным источником трафика. Многие из них не готовы идти на подобный риск.
Сама компания Google утверждает, что AI Overviews — краткие сводки, которые появляются в верхней части поисковой выдачи, — являются частью её стремления к улучшению качества информации и поддержке издателей.
«Каждый день Google отправляет миллиарды пользователей на сайты по всему интернету, и мы намерены продолжать этот давно устоявшийся обмен ценностями, — заявил представитель Google. — Благодаря обзорам ИИ люди находят “Поиск Google” более полезным и возвращаются, чтобы искать больше, создавая новые возможности для обнаружения контента».
Google применяет специализированные краулеры для некоторых своих продуктов, включая чат-бота Gemini. Однако основной краулер компании, известный как Googlebot, выполняет задачи как для AI Overviews, так и для стандартного «Поиска Google». Представитель компании объяснил, что эти две функции являются взаимосвязанными и работают в тесной связи друг с другом.
Издатели имеют возможность ограничивать доступ к определённым страницам или их фрагментам в AI Overviews. Тем не менее, стоит отметить, что такая блокировка, скорее всего, также приведёт к тому, что эти страницы не будут отображаться в других функциях поиска Google. Это создает дилемму для издателей, которые хотят контролировать, как их контент используется, но при этом рискуют потерять видимость в основном поисковом сервисе.
Генеральный директор iFixit Кайл Винс (Kyle Wiens) сообщил, что отношения сайта iFixit с Google «гораздо более слабые», чем с другими компаниями, занимающимися ИИ. «Я могу запретить ClaudeBot индексировать нас, не навредив нашему бизнесу, — заявил он, имея в виду стартап Anthropic, занимающийся генеративным ИИ. — Но, если я заблокирую Googlebot, мы потеряем трафик и клиентов».