Наверное, каждый знает, что сайты и сервисы собирают информацию о пользователях для собственных целей. User Agent - строка, которая содержит информацию о версии операционной системы, браузере и его особых функциях, а также об устройстве, с которого пользователь посещает сайт. Сайты собирают эти сведения для корректного отображения страницы и её содержимого. Раньше, сайты создавались с учётом особенностей разных браузеров, поэтому пользователи изменяли Юзерагент, чтобы просматривать страницы сайтов в том виде, который им нужен...

Ваш сайт не появляется в поиске? Или наоборот — индексируются страницы, которые не должны быть видны (админка, технические разделы, дубли)? Проблема может быть в двух критически важных файлах: robots.txt и sitemap.xml. Они управляют тем, как поисковые роботы сканируют и индексируют ваш сайт. В этой статье — простыми словами о том, что это такое, зачем нужно и как настроить правильно за 15 минут. Robots.txt — это текстовый файл, который лежит в корне сайта и сообщает поисковым роботам (Google, Яндекс), какие страницы можно сканировать, а какие — нельзя...