Настройка файла robots.txt дает возможность избавиться от дублированных страниц, задать страницы, которые можно индексировать, и исключать материалы из индексирования. Важно, чтобы в строке sitemap был указан полный путь к карте индексируемого ресурса.
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Sitemap:http://site.ru/sitemap.xml
В примере стандартного файла robots.txt показано, что к индексации запрещены страницы с указанием меток, категорий, комментариев, RSS-лент и архивов. Служебные разделы сайта также закрыты для индексации ради обеспечения безопасности.Рекомендуют открыть для индексирования файлы из директории /uploads, этот шаг может повлиять на привлечение трафика из раздела картинок поисковых систем. Панель управления платформы позволяет редактировать файлы robots.txt и .htaccess при условии, что предустановлены специализированные SEO-плагины.
Источник: © COMPAS Agency