Разработали новый сайт? Прошла неделя, а вы все никак не можете найти его в поисковой выдаче ни по одному запросу?
Вероятно, до вашего сайта поисковый робот просто не добрался. И, чтобы ускорить процесс, необходимо самостоятельно сообщить роботу о новом сайте! Три простых шага, чтобы добавить сайт в поиск (с ними вы справитесь буквально за 1 час и совершенно бесплатно) Данный файл предназначен исключительно для роботов поисковых систем (ПС) и содержит инструкцию о том, как необходимо индексировать сайт - например, с помощью директив можно закрыть от индексации определенные разделы сайта или вообще весь сайт целиком, а можно и наоборот, разрешить индексировать все страницы сайта.
О тонкостях настройки robots.txt можно почитать в интернете или маякните в комментариях, и мы сделаем отдельный пост. 2. Создать файл sitemap.xml.
Файл sitemap.xml (или xml-карта сайта) также предназначен для роботов ПС и сообщает им какие страницы необходимо индексировать и с какой приоритетностью.
Карт