Индексация страниц сайта в поисковиках - это постоянная проблема вебмастеров. Особенно актуально это для больших сайтов с тысячами, а то и миллионами страниц. Поисковики не могут и не хотят индексировать абсолютно все страницы сайтов, т.к. очень часто у большинства присутствует куча так называемых мусорных страниц. Это могут быть дубли, различные фильтры, урлы с динамическими параметрами и прочее. Все это для поисковых систем просто мусор, который не имеет трафикового потенциала. Краулинговый бюджет...

Индексация сайта в поисковых системах Яндекс и Google, а также любых других поисковиках, — поиск, обработка, сбор и размещение информации о веб-проекте в базах данных ПС. Поисковые боты изучат страницы вашего сайта, ознакомятся с контентом на них, и занесут его в свои базы...