Индексация страниц сайта в поисковиках - это постоянная проблема вебмастеров. Особенно актуально это для больших сайтов с тысячами, а то и миллионами страниц. Поисковики не могут и не хотят индексировать абсолютно все страницы сайтов, т.к. очень часто у большинства присутствует куча так называемых мусорных страниц. Это могут быть дубли, различные фильтры, урлы с динамическими параметрами и прочее. Все это для поисковых систем просто мусор, который не имеет трафикового потенциала. Краулинговый бюджет...

Яндекс, как и любая поисковая система, индексирует все сайты в интернете с помощью поисковых роботов. Каждая из страниц ресурса анализируется, заносится в базу и ранжируется по собственным алгоритмам поисковой машины...