Уже в течение двух лет в Google наблюдается проблема с индексацией страниц. Новые страницы в некоторых случаях очень сложно попадают в индекс. Первый сбой в индексации зарегистрирован 5 апреля 2019 года во время планового обновления дата-центров.
Что случилось в апреле 2019 года
Индекс Google содержит сотни миллионов страниц. Чтобы показать ответ пользователю за доли секунды, система обращается в ближайший дата-центр. Вот такие центры Google расположены по всему миру:
Чтобы показывать корректный ответ пользователю из любой точки мира, данные во всех центрах должны быть идентичны. Во время очередного обновления данных 5 апреля 2019 года часть индекса была утеряна. Google оперативно отреагировал, принял меры по восстановлению индекса и разработал стратегию предотвращения подобных случаев.
Следующий сбой в индексации Google произошел 22 мая 2019 года, когда системам не хватило памяти для обработки новых URL. Это привело к тому, что часть новых URL система не обработала.
Аналогичный сбой случился и в августе 2019 года.
С тех пор вебмастера и оптимизаторы наблюдают постоянные сложности в индексации как страниц своих проектов, так и страниц со статьями для продвижения.
В индекс сложно входят страницы вне зависимости от таких факторов:
- возраст и авторитетность сайта;
- масштаб — плохо индексируются страницы как больших интернет-магазинов, так и небольших информационных сайтов;
- качество контента — проблемы испытывают и сайты, которые пишут оригинальный, полезный и качественный контент;
- краулинговый бюджет;
- дублированный контент.
Это “боль” оптимизаторов и вебмастеров, для решения которой нет единого на 100% эффективного метода.
Поэтому мы приняли решение помогать всеми силами вебмастерам и оптимизаторам добавлять страницы в индекс Google.
Что мы предлагаем
За время проблем с индексацией мы опробовали несколько методов возвращения статей в индекс. Результат на разных контрольных группах варьировался — 40-70% непроиндексированных страниц с разными статусами все таки вошли в индекс.
Мы понимаем, что метод не дает 100% возврата (иначе давно бы нами применялся).
Мы не заявляем что это революционный тайный метод нашей разработки о котором никто не знает и вообще…
Но это лучше, чем ничего не делать.
Поэтому теперь мы будем:
- делать дополнительную выборку статей;
- выбирать те, которые не вошли в индекс Google в течение срока, данного системной на индексацию, или выпавшие из него;
- за свой счет применять меры для помощи в переиндексировании.
Для этого оптимизатору не нужно подавать никаких заявок и делать дополнительных пометок при размещении. Услуга предоставляется по умолчанию и бесплатно.
Мы надеемся, что общими усилиями мы сможем ввести в индекс Google большую часть “не принятых” страниц.
Напомним — закрытие материала от индексации, отсутствие пути с главной являются нарушением системы и приравниваются к пропаже статьи. Речь в новости идет именно о том материале, который вылетел/не попал в индекс из-за нынешней политики поисковика при соблюдении всех правил нашей системы.
Вебмастеру
Вебмастерам мы рекомендуем добавлять проблемные статьи на переобход гуглом. Почему-то рекомендуют именно в порядке как на скриншотах.
Пример был взят на скорую руку, проблема, о которой пишет Гугл — мобильная версия хелпа.
Пробовать делать дополнительную перелинкову статьи с другими материалами сайта или проставить дополнительные внешние ссылки.
В случае неиндексации можно переразместить статью по другому адресу, главное не забудьте сменить этот адрес в системе.
В общем, продолжать делать то, что многие делали для этого, а мы будем стараться вместе с вами.