В логах строка Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/) и сотни хитов за ночь. Это краулер сервиса Ahrefs — второй по активности обходчик интернета после Googlebot. Паниковать рано, разбираться стоит. AhrefsBot строит карту ссылок всего интернета: обходит страницы, собирает исходящие ссылки и складывает их в базу, на которой работают отчёты Ahrefs — Site Explorer, анализ доноров, мониторинг новых и потерянных ссылок. Тот же индекс питает поисковик Yep.com, который Ahrefs делает сам...