В Indexing Insight заметили, что в Google состояние индекса страницы может меняться.
Почему так?
Патент Google «Управление URL-адресами» (US7509315B1) объясняет, как поисковая система управляет своим индексом с помощью двух основных систем.
Этими двумя основными системами являются:
1. Мягкие и жесткие ограничения
Google управляет своим индексом с помощью двух типов ограничений:
— Мягкое ограничение (Soft Limit). Устанавливает целевое количество страниц для индексирования.
— Жесткое ограничение (Hard Limit). Действует как потолок для предотвращения чрезмерного роста индекса.
Когда Google достигает мягкого ограничения (скажем, 1 млн URL), он увеличивает порог важности страниц, что удаляет часть индексированных страниц, попадающих ниже этого порога, что влияет на сканирование и индексацию новых страниц.
2. Порог важности и приоритет обхода
Согласно данному патенту, при достижении мягкого предела:
— Индексируются только страницы с рейтингом важности ≥ текущего порога.
— По мере корректировки порога приоритет сканирования сайта и индексирования URL меняется.
— URL с рейтингом важности намного ниже порогового значения имеют нулевой приоритет сканирования.
Данная система объясняет, почему в Google Search Console некоторые страницы переходят из состояния индексирования "Просканировано — в настоящее время не проиндексировано" в состояние "URL неизвестен Google".
Все дело в их ранге важности относительно текущего порога.
Снижение рейтинга важности с течением времени означает, что URL может переходить от:
— Просканировано — в настоящее время не проиндексировано.
— Обнаружено — в данный момент не проиндексировано.
— URL-адрес неизвестен Google.
Гэри Илш (Gary Illyes) из Google подтвердил, что поисковый индекс Google со временем может «забывать» URL-адреса на основе сигналов, и эти забытые URL-адреса будут иметь нулевой приоритет сканирования.
***
Больше полезных новостей и инструментов на нашем телеграм-канале https://t.me/siteanalyzer