Ускоряем обход сайта поисковыми роботами
У каждого сайта есть свой краулинговый бюджет - лимит на обход страниц на сайте поисковым роботом за определенный промежуток времени.
Чтобы робот не тратил свои ресурсы на обход ненужных технических и мусорных страниц, можно их закрыть 3 способами:
1. Закрыть url таких страниц в robots.txt
Страницы, закрытые таким путем выпадают из обхода.
Минусы метода:
- Google может игнорировать директивы из этого файла и индексировать содержимое.
- Яндекс и Гугл использует страницы в обходе, если на них стоят внутренние или внешние ссылки.
2. Закрыть внутренние ссылки атрибутом rel="nofollow"
Атрибут nofollow позволяет поисковым системам указать, что переходить по ссылки не нужно.
Сами поисковые системы рекомендуют такой способ: Яндекс и Google.
Минусы метода:
- Закрыть абсолютно все ссылки ведущие на страницу невозможно - она может быть уже проиндексирована, либо на неё уже ссылаются внешние dofollow ссылки.
3. Закрыть страницы мета-тегом "noindex"
Страницы, содержащие такой тег - перестанут индексироваться.
Минусы метода:
- Не всегда и не всё можно закрыть данным мета-тегом.
- Ссылки не закрытые в robots.txt, либо атрибутом rel=nofollow
Комбинация robots.txt + rel="nofollow" + meta "noindex"
Такой подход позволяет убрать из обхода страницы ненужные сайта.
Пример
К примеру, страница интернет-магазина с параметрами сортировки.
- Если её не закрыть в robots.txt, страницы проиндексируются и создаются дубликаты с похожим содержимым (конкуренция с разделом к которому относиться сортировка).
- Если не закрыть внутренние ссылки на такую сортировку с помощью атрибута rel=nofollow, то робот будет использовать их в обходе невзирая даже на запреты в robots.txt.
- Если страница закрыта перечисленными 2 способами, но кто-то поставил внешнюю индексируемую ссылку с другого сайта, то страница может индексироваться поисковым ботом Google.
Что происходит после закрытия внутренних ссылок в rel=nofollow?
Если в отчете вебмастера Яндекс ("Индексирование" => "Страницы в поиске" => "Исключенные") присутствует ошибка: "Запрет в robots.txt (страница)", то после внедрения данной рекомендации их количество должно значительно уменьшиться.
Скриншот на примере одного нашего клиента, которому выполнялась данная работа:
Было заблокированных в robots.txt: 1 958 599 стр.. После внедрения атрибута nofollow стало: 1 083 страницы.
Такая методика позволяет значительно увеличить скорость обхода и индексирования на любом сайте - особенно это чувствуется на сайтах с большим количеством страниц.
Мы занимаемся разработкой и доработкой действующий сайтов любой сложности.
Вы можете оставить заявку для получения дополнительной информации по вашему сайту.
Солтык Алексей, SEO-специалист Webcenter.Pro
Подробнее в блоге: https://webcenter.pro/blog/zachem-skryvat-vnutrennie-tekhnicheskie-ssylki-atributom-rel-nofollow/