Урок №13. Настройка файла robots.txt. Как правильно настроить файл роботс для сайта.
122 просмотра · 2 года назад
Как правильно составить файл Robots.txt
Robots.txt - это файл с правилами для поисковых роботов. Этот файл показывает поисковикам, как индексировать ваш сайт.
Как создать и правильно настроить Robots.txt
Robots.txt – это обычный текстовый файл в формате .txt. Этот файл содержит инструкции и директивы для поисковых роботов. Он может содержать директивы, запрещающие к индексации определённые файлы сайта, папки целиком и документы...