Discovered - currently not indexed (Обнаружено - в настоящее время не проиндексировано)

Это означает, что поисковая система (Google, Bing и др.) обнаружила URL (например, через сайтмапы, RSS-фиды, внутренние или внешние ссылки), но ещё не просканировала его. URL находится в очереди на краулинг.

Почему это происходит?

• У поисковых систем есть ограниченные ресурсы для краулинга, и они расставляют приоритеты.
• URL может быть не самым важным с точки зрения поисковика (например, страница с низким приоритетом или слабыми ссылочными сигналами).
• Очередь на краулинг может быть большой, особенно на крупных сайтах.

Что делать?

• Оптимизируйте краулинг: Убедитесь, что важные страницы легко доступны для поисковых роботов (через внутренние ссылки, XML-сайтмапы).
• Используйте инструменты веб-мастеров: Отправляйте важные URL вручную через Google Search Console (GSC) или Bing Webmaster Tools.
• Ускорьте индексацию: Используйте API индексации Google для приоритетных страниц.
• Проверьте robots.txt и метатеги: Убедитесь, что страницы не блокируются от краулинга.

2. Crawled - currently not indexed (Просканировано - в настоящее время не проиндексировано)

Это означает, что поисковая система просканировала URL, но решила не добавлять его в индекс. Это может быть связано с техническими или качественными причинами.

Почему это происходит?

• Технические проблемы:
  Контент скрыт за JavaScript, и поисковый робот не может его прочитать.
  Страница имеет проблемы с загрузкой или рендерингом.
  Дубликаты контента или неправильные канонические теги.
• Качество контента:
  Контент считается недостаточно уникальным или полезным.
  Страница имеет низкую ценность для пользователей (например, тонкий контент).
• Ограниченные ресурсы индексации:
  Поисковик может отложить индексацию, если страница не считается приоритетной.

Что делать?

• Убедитесь, что контент доступен: Проверьте, может ли поисковый робот получить доступ к вашему контенту (особенно если используется JavaScript). Используйте инструмент "Проверка URL" в GSC.
• Улучшите качество контента: Создавайте полезный, уникальный и релевантный контент.
• Оптимизируйте метатеги и структуру: Убедитесь, что у страницы есть правильные канонические теги, заголовки и мета-описания.
• Уберите дубликаты: Проверьте, нет ли дублирующего контента на сайте.
• Увеличьте авторитет страницы: Добавьте внутренние ссылки с важных страниц и работайте над внешними ссылками.

Как уменьшить количество URL в статусе "Crawled - currently not indexed"?

1. Оптимизируйте краулинг:
   Убедитесь, что важные страницы легко доступны через внутренние ссылки.
   Используйте XML-сайтмапы и отправляйте их в GSC.
   Убедитесь, что robots.txt не блокирует важные страницы.
2. Ускорьте индексацию:
   Используйте API индексации Google для приоритетных страниц.
   Регулярно обновляйте контент, чтобы поисковики чаще возвращались на сайт.
3. Улучшите техническое состояние сайта:
   Убедитесь, что сайт быстро загружается и корректно работает на всех устройствах.
   Проверьте, что контент доступен для роботов (особенно если используется JavaScript).
4. Сосредоточьтесь на качестве контента:
   Создавайте контент, который отвечает запросам пользователей.
   Избегайте тонкого или дублирующего контента.
5. Мониторинг и анализ:
   Регулярно проверяйте отчеты в Google Search Console.
   Анализируйте, какие страницы не индексируются, и устраняйте причины.

Выводы

• "Discovered - currently not indexed" — это нормально, особенно для крупных сайтов. Важно оптимизировать краулинг и расставлять приоритеты.
• "Crawled - currently not indexed" — требует внимания. Проверьте технические аспекты и качество контента, чтобы устранить проблемы.