Если не хотите разбираться со всей этой херней, регистрируйтесь и напишите в техподдержку промокод #дзенпродвижениетв и вам дадут бесплатный месяц продвижения сайта для теста.
Поисковая машина — это программа, которая составляет и хранит предметный указатель Интернета, а также находит в нём заданные ключевые слова. Для этого программа составляет так называемый поисковый индекс. Рассмотрим, из каких этапов состоит процесс составления поискового индекса и поиска по нему.
Сбор адресов страниц в Интернете Чтобы составить индекс по веб-страницам, сначала нужно решить, какие страницы нам нужны. Таким образом, прежде всего надо составить список страниц — набор адресов тех страниц, по которым будет составляться индекс.
Поскольку сайты и их страницы беспорядочно разбросаны в Интернете, поисковой машине необходимо с чего-то начать. Обычно разработчики поисковой машины загружают в неё некоторый начальный список адресов страниц сайтов (взяв его, например, из какого-нибудь каталога).
Затем поисковая машина (её составная часть — так называемый поисковый робот) собирает с каждой из заданных страниц все гипертекстовые ссылки на другие страницы и добавляет все найденные в ссылках адреса к своему первоначальному набору адресов.
Таким образом, первоначальный набор адресов страниц быстро увеличивается за счёт ссылок на другие сайты и страницы, и список страниц постепенно становится очень большим.
Сейчас поисковики постоянно обходят и индексируют десятки и даже сотни миллиардов веб-страниц. Следует обратить внимание на тот очевидный факт, что малоизвестные страницы, на которые никто не ссылается, имеют немного шансов автоматически попасть в индекс поисковой машины!
Дело в том, что разработчики поисковика не смогут добавить их в начальный список адресов вручную, поскольку не знают их, а по ссылкам поисковому роботу до них добраться трудно — из-за небольшого количества этих ссылок. Возможно, поисковый робот и доберётся до них когда-нибудь, но далеко не в первую очередь.