Файл robots.txt позволяет настраивать индексацию сайтов поисковыми системами. В его разделах находятся директивы, разрешающие или запрещающие доступ индексирующим ботам (роботам) к данным. Но для того, чтобы файл выполнял свои функции, его необходимо правильно создать, указать соответствующие правила и разместить в нужном месте сайта.
Задачи, которые выполняет файл
Настройка разрешений и запретов для поисковых ботов выполняется с помощью определённых директив, которые вносятся в текстовый файл:
- Allow – правило, которое разрешает индексацию отдельных разделов, страниц и файлов;
- Disallow – директива, открывающая доступ к указанному контенту;
- User-agent – название поисковых систем и ботов, к которым относятся разрешения и запреты;
- Sitemap – необязательное правило, позволяющее указать расположение файла Sitemap, предназначенного для правильной и быстрой индексации.
Благодаря использованию robots.txt, владелец сайта может уменьшить количество запросов к серверу со стороны определённой поисковой системы – в первую очередь, Google. С его же помощью запрещается доступ к тем страницам или разделам, где находятся повторяющиеся или незначительные данные.
Особенности использования robots.txt
Файл может применяться не только для настройки доступа к контенту, но и для того, чтобы в результатах поиска не показывались определённые изображения, видеоролики и аудиофайлы. Хотя наличие блокировки не означает, что на указанные в robots.txt объекты нельзя размещать ссылки.
Наличие запрета доступа к странице не полностью защищает её от индексации. Боты не будут сканировать контент. Но, если на него есть ссылки на других ресурсах, файлы и страницы всё равно могут находиться поисковиками. Чтобы этого избежать, информацию придётся защищать паролем.
Создание файла и требования к нему
К процессу создания robots.txt и самому файлу существуют определённые требования:
- файл создаётся в обычном текстовом редакторе типа Блокнот – при использовании других программ следует сохранить robots.txt только в кодировке UTF-8;
- файл должен быть на сайте только один и называться именно robots.txt;
- место размещения – корневой каталог сайта.
После создания файла в него следует добавить правила, загрузить его на сайт и протестировать разметку. Никаких дополнительных действий со стороны пользователя не требуется. Поисковые боты будут автоматически находить файл и использовать указанные в нём правила.
#robots.txt
