У Семёна есть сайт, но он не может его найти в поисковиках :(
-Как же так, я сделал отличный сайт, но никак не могу его найти, что мне делать?
Его друг Аркадий говорит: -Семён, так у тебя роботс не настроен!
-Что не настроено?
-Роботс.тхт - это такой системный файл, который сообщает поисковикам что сайт нужно выдавать в поисковой выдаче.
Если индексация сайта открыта, то примерно через 2 недели ты сможешь найти свой сайт в поиске по названию, номеру телефона или email который ты указал на сайте!
-И всё? Это всё что нужно чтобы мой сайт появился в поисковой выдаче? - изумленно проговаривает Семён.
-Да, этого вполне хватит чтобы ты и твои клиенты могли тебя найти, зная название или номер телефона! А если ты хочешь, чтобы тебя находили НОВЫЕ клиенты, то я могу рассказать намного больше, но постепенно, одну тему за встречу, сойдет? - подмигивает Аркадий.
-Конечно! – говорит Семён, улыбаясь.
-Ну, тогда до встречи...и индексацию открыть не забудь!
Кстати, если не торопишься, могу тебе ещё вот что про robots рассказать…
Если хочешь проверить как настроен твой роботс — после адреса сайта добавляешь /robots.txt Должно получиться примерно так https://rosait.ru/robots.txt, но помни, для каждого сайта файл для роботов составляется индивидуально!
А если ты введешь в поисковике команду site:названиесайта.ру то ты увидишь сколько и какие страницы твоего сайта можно найти в поисковиках!
А если вдаваться в детали, то здесь 5 основных элементов:
- User-agent - здесь мы указываем поисковые системы, которым сообщаем информацию из файла robots.txt.
- Disallow - директива, которая запрещена для индексации.
- Allow - директива, которая разрешена для индексации.
- host: https://rosait.ru/ - Адрес вашего сайта
- sitemap: https://rosait.ru/sitemap.xml - Путь к карте сайта.