Здравствуйте дорогие друзья, сегодня мы поговорим о положительной стороне карты сайта sitemap.xml и файле robots.txt. Давайте для начала узнаем, зачем нам нужен файл robots.txt. Этот файл нужен для разрешения или запрещения определённого каталога, файла, раздела или страницы вашего сайта. А файл sitemap.xml включает в себя все ссылки страниц и разделов сайта, которые следует индексировать. Карта сайта зародилась ещё очень давно, когда практически все ресурсы были на html и все данные хранились на отдельных файлах, и карта сайта по средствам гиперссылок соединяла все эти страницы. Поисковые роботы Google и Яндекса, видя такую страницу, посещали её и индексировали всё содержимое...

Основное свойство файла Robots.txt заключается в закрытии от индексации некоторых разделов ресурса. Файл sitemap.xml содержит всю информацию, которая находится на сайте. Оба этих файл создаются при помощи абсолютно любого текстового редактора. Создать и настроить их не представляет большого труда. Файл Robots.txt имеет определенные директивы Текстовый документ, находящийся в основной директории ресурса, называется Robots.txt. Содержание данного файла включает инструкции для роботов-поисковиков....