Google напоминает, Googlebot не может скроллить страницу. Бесконечная прокрутка на сайтах приводит к проблемам индексации контента. Блог Miralinks рассказывает, почему так происходит и показал простой инструмент, которым можно проверить, что видит и сканирует бот на странице, а что нет.
Мартин расшарил экран своего компьютера и продемонстрировал на реальном примере, в чем может быть причина отсутствия контента в индексе Google.
Сайт применяет бесконечную прокрутку для загрузки нового контента. Это значит, что страница не показывает новый контент до тех пор, пока пользователь не дойдет до конца страницы. Сплит указывает:
Googlebot не прокручивает страницу.
Бот Google заходит на страницу и сканирует все элементы, которые доступны без каких-либо дополнительных действий.
Поэтому применение бесконечной загрузки может привести к тому, что значительная часть контента не попадет в индекс поисковой системы.
Что можно использовать вместо бесконечной прокрутки
Сплит предупреждает вебмастеров, что для отображения контента нельзя использовать только бесконечную прокрутку. Он также указывает, что отложенная загрузка может использоваться для медийного контента (изображений и видео).
Для проверки загрузки и отображения контента при использовании бесконечной прокрутки Google рекомендует использовать:
- IntersectionObserver API
- библиотека JavaScript, которая поддерживает загрузку контента, который появляется в области просмотра.
Лучшей альтернативой отложенной загрузки становится пагинация.
Руководство по исправлению ошибок отложенной загрузки указывает:
Проверка применения
Сплит подчеркивает, что вне зависимости от того, какой метод загрузки контента применяется, важно проводить тесты.
Если бы владелец сайта провел простой тест, он бы самостоятельно нашел корень проблемы и своевременно бы все исправил. Мартин обнаружил проблему, проводя проверку расширенных результатов:
Этот тест показывает то, что собственно видит и может сканировать на странице Googlebot.
На главной странице новостного сайта Googlebot обнаружил лишь 10 новых публикаций, хотя их было намного больше.
Другой способ проверки бесконечной прокрутки предложен в Руководстве Google — локальный скрипт Puppeteer: