Зачем нужна карта сайта и файл robots.txt
Здравствуйте дорогие друзья, сегодня мы поговорим о положительной стороне карты сайта sitemap.xml и файле robots.txt. Давайте для начала узнаем, зачем нам нужен файл robots.txt. Этот файл нужен для разрешения или запрещения определённого каталога, файла, раздела или страницы вашего сайта. А файл sitemap.xml включает в себя все ссылки страниц и разделов сайта, которые следует индексировать. Карта сайта зародилась ещё очень давно, когда практически все ресурсы были на html и все данные хранились на отдельных файлах, и карта сайта по средствам гиперссылок соединяла все эти страницы. Поисковые роботы Google и Яндекса, видя такую страницу, посещали её и индексировали всё содержимое...