Что такое файл robots.txt – это файл указывающий поисковому роботу как и по каким правилам обрабатывать сайт. В нем указываются директивы для индексирования или запрета индексирования сайта, расположение карты сайта и т.д.
Приступая к созданию файла Robots.txt, необходимо в первую очередь понимать для чего он необходим и как правильно его необходимо настроить.
Многие Веб мастера пренебрегают необходимостью корректного составления файла Robots.txt что приводит к ошибкам при индексировании сайта. Даже при условии наличия самого файла корректность его составления является крайне необходимым, т.к при установке любой CMS файл robots.txt пуст и требует наполнения. Находится файл по стандартному пути: ваш сайт/robots.txt
Далее я расскажу какие параметры необходимо прописать в Robots.txt
Для более наглядного примера будем использовать файл с сайта ITBoroda.ru
Первой директивой здесь является User-agent: с параметром ” * ” – это означает что данные правила применяются для всех поисковых роботов поисковых систем. В некоторых случаях можно прописать правила для каждого робота поисковой системы.
Второй директивой является Host: с параметром itboroda.ru – это обязательное правило которое должно присутствовать.
Третье правило Disallow: обозначает какие разделы сайта запрещены к индексированию, в случае если их несколько прописывается путь от корня сайта, в случае запрета индексирования нескольких разделов правило добавляется на следующей строке.
Четверное правило Allow – определяет какие разделы сайта обязательны к индексированию, прописывается с новой строки.
Пятое правило Sitemap: – указывается полный путь до карты сайта, это правило не является обязательным, но для ускорения индексирования сайта я советую его прописывать.
Понравился материал? Пишите свои комментарии, и подписывайтесь на канал.