Поисковые системы по ряду причин индексируют не все страницы сайта или, наоборот, добавляют в индекс нежелательные. В итоге практически невозможно найти сайт, у которого бы количество страниц в Яндексе и Google совпадало. Если расхождение не превышает 10%, то на это не всегда обращают внимание. Но такая позиция справедлива для СМИ и информационных сайтов, когда потеря малой части страниц не сказывается на общей посещаемости. А вот для интернет-магазинов и прочих коммерческих сайтов отсутствие товарных страниц в поиске (даже одной из десяти) — это потеря дохода...

Яндекс, как и любая поисковая система, индексирует все сайты в интернете с помощью поисковых роботов. Каждая из страниц ресурса анализируется, заносится в базу и ранжируется по собственным алгоритмам поисковой машины...