Здравствуйте дорогие друзья, сегодня мы поговорим о положительной стороне карты сайта sitemap.xml и файле robots.txt. Давайте для начала узнаем, зачем нам нужен файл robots.txt. Этот файл нужен для разрешения или запрещения определённого каталога, файла, раздела или страницы вашего сайта. А файл sitemap.xml включает в себя все ссылки страниц и разделов сайта, которые следует индексировать.
Карта сайта зародилась ещё очень давно, когда практически все ресурсы были на html и все данные хранились на отдельных файлах, и карта сайта по средствам гиперссылок соединяла все эти страницы. Поисковые роботы Google и Яндекса, видя такую страницу, посещали её и индексировали всё содержимое. Переходя по ссылкам, он начинал индексировать страницы и его контент. А в наше время при внедрение большого количества CMS, поисковый робот заходит на сайт, видит огромную кучу файлов. Спустя какое-то время он доберётся до страниц вашего сайта и начнёт их индексировать, но может пройти от несколько недель, до несколько месяцев. Во всех новых движках, контент страницы хранятся не в системных файлах, а в базе данных. Так что бы ускорить индексацию сайта и обеспечить правильный путь индексирование роботу, и надо будет создать карту сайта! На многих движках имеются встроенные компоненты, на других следует установить определённые компоненты и плагины. А с помощью файла robots.txt вы указываете путь поисковым роботам, отмечая, что можно индексировать, а что нельзя. И поисковый робот будет индексировать нужную вам часть сайта гораздо быстрее! На полную индексацию сайта может уйти от несколько дней до несколько недель, что гораздо быстрее. Как создавать карту сайта выбирать именно вам, если сервер слабенький, то пишите её самостоятельно без скриптов, что бы не нагружать центральный процессор, а если сервер может позволить всё это себе, то конечно ставьте плагин и не мучайтесь! Карта сайта будет сгенерирована в автоматическом режиме. А вот robots.txt вам придётся писать собственноручно. В нём вы должны закрыть все ненужные каталоги и файлы, а так же закрывать все дубли страниц, которые вылезут во время индексации. Что бы не попасть под санкции ваш сайт должен быть идеальным и вот для этого вам придётся освоить написание этого файла.
Для того что бы поисковые системы нашли быстрее вашу созданную карту сайта, её нужно будет добавить! Для добавление в Яндекс следует воспользоваться Яндекс вебмастером, для добавления в гугл, нужно будет воспользоваться панелью вебмастера гугла. И после того, как поисковые системы одобрят и не выявят ошибки в написание вашей карты сайта, он возьмется за её индексацию.