Robots.txt и sitemap.xml: настройка для индексации
Ваш сайт не появляется в поиске? Или наоборот — индексируются страницы, которые не должны быть видны (админка, технические разделы, дубли)? Проблема может быть в двух критически важных файлах: robots.txt и sitemap.xml. Они управляют тем, как поисковые роботы сканируют и индексируют ваш сайт. В этой статье — простыми словами о том, что это такое, зачем нужно и как настроить правильно за 15 минут. Robots.txt — это текстовый файл, который лежит в корне сайта и сообщает поисковым роботам (Google, Яндекс), какие страницы можно сканировать, а какие — нельзя...