Robots.txt – это используемый большинством поисковых роботов текстовый файл, в котором прописаны правила для сканирования документов (страниц сайта). Чтобы понять, как правильно прописать robots.txt для сайта, требуется изучить особенности его создания. В статье рассмотрим какие есть требования, директивы и как его сформировать robots.txt для определенной CMS сайта. Что такое robots.txt и для чего он нужен Формирование этого файла является одной из важнейших частей SEO оптимизации. Robots.txt применяется...

Привет друзья на связи Павел Гречко. В этой статье я расскажу вам как правильно настроить robots.txt. для WordPress и других популярных CMS. А так же более детально изучить как работает robots.txt. Так как он помогает закрывать не нужные страницы и экономить краулинговый бюджет который выделяет ПС на ваш сайт. User-Agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /template.html Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content Allow: /wp-content/uploads/ Disallow:...