TrafficVeil

Современный Googlebot работает на базе Headless Chromium через Web Rendering Service (WRS) и фактически является полноценным браузером. Важно понимать: это не один бот, а целая экосистема специализированных краулеров. Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Smartphone (Mobile-First, приоритетный): Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.6723.69 Mobile Safari/537.36 (compatible; Googlebot/2...

Данные позволяют ответить на практические вопросы: кто реально нагружает серверы, как быстро растёт трафик AI-ботов и насколько традиционные поисковые боты уступают позиции новым игрокам. Самый важный вывод из таблицы: бот-трафик вырос в 6.8 раза за три месяца. Март к маю — это не сезонность. Это структурный сдвиг: экспансия AI-краулеров продолжается и ускоряется. Главный сюрприз: Meta ExternalAgent — абсолютный лидер с 30% всего бот-трафика. Это не Googlebot и не GPTBot. Meta агрессивно собирает данные для обучения моделей и ранжирования в Facebook/Instagram...

AASA-Bot принадлежит Apple, и его задача узко техническая: он забирает файл apple-app-site-association с сайта, чтобы обеспечить работу Universal Links — механизма, который позволяет iOS-приложениям перехватывать открытие определённых URL и запускать вместо браузера собственное приложение. Название бота — прямая аббревиатура от AASA (Apple App Site Association), а не случайное сочетание букв. До iOS 9 связь между мобильным приложением и сайтом строилась через кастомные URI-схемы — подход с рядом проблем безопасности и надёжности...

Статистика за неделю обычного православного форума по футболу, который полюбили боты Facebook и Amazon. Любили по разному, что вызывало ошибку 500 на регулярной основе...Боты очень активно обучались на исторических данных этого сайта...

Мы проанализировали 1000 доменов на наличие бот-трафика. В выборку попали сайты новостного формата — чтобы не было искажений. Почему именно эта выборка? На информационниках очень активно обучаются языковые модели. Пятёрка самых активных ИИ-ботов за 3 месяца: Facebook - 34 502 888 запросов Bytespider (TikTok) - 10 286 154 запросов Huawei - 10 045 766 запросов GPTBoot - 8 653 502 запросов Amazon Bot - 6 477 078 запросов Claude Bot - 4 728 798 запросов Причём они посещают все 1000 сайтов, давая колоссальную нагрузку...