1. Метатег Robots и X-Robots-Tag
Самый простой и эффективный способ – добавить на страницу <meta name="robots" content="noindex, follow">. Работает при любых условиях, страница будет исключена из индекса в течение недели. Хотя, могут быть случаи, когда потребуется больше времени. Зависит от скорости сканирования ресурса.
Если страница из индекса не удаляется – используйте инструмент "Удаления" в Google Search Console.
X-Robots-Tag работает аналогично метатегу Robots, отличается только тем, что размещается не в коде страницы, а в HTTP заголовке.
👉 Хотите быть в курсе всех важных новостей по SEO? Подписывайтесь на телеграм канал Владислава Наумова, Head of SEO в агентстве Inweb.
2. 301 редирект.
Со страницы можно прописать 301 редирект на похожий документ. Обычно, занимает несколько недель, прежде чем старый документ будет исключен из индекса.
Следует использовать в том случае, когда нужно передать со страницы вес на новый документ либо же на страницу есть внешние ссылки.
3. Удаление страницы 404 или 410.
Классический метод – удалить страницу и показывать пользователю страницу 404 ошибки и отдавать 404 код ответа сервера.
404 – страница сейчас недоступна, может быть скоро снова будет 200. Поисковые системы сканируют такие страницы даже через годы после их удаления.
410 – страница удалена навсегда. Со временем, всегда разным, поисковые системы прекращают сканировать страницы.
4. Запрет доступа - 403.
Запретить доступ к странице через htaccess и отдавать 403 код ответа сервера. 403 код означает, что необходима авторизация для получения доступа к странице.
Поисковые системы не индексируют страницы с таким кодом ответа сервера.
5. Удалить страницу через GSC.
Можно удалить страницу через инструмент "Удаления" в Google Search Console. Самый быстрый способ, буквально 15 минут и страницы в индексе как не бывало. Но если страница не закрыта от индексации и отдает 200 код ответа сервера – через время она вернется.
Кстати, есть метод массового удаления url-адресов через плагин для Google Chrome. Можно в фоновом режиме удалять url-адресами тысячами.
6. Robots.txt.
Простой и эффективный метод. Но, есть небольшая вероятность, что страница всё-таки попадет в индекс Google, ведь для него это правила сканирования, а не индексирования. Такая страница может попасть в отчет «Проиндексировано, несмотря на запрет в файле Robots.txt».
Для Яндекса 100% метод, ведь для него в файле Robots.txt указаны правила сканирования и индексирования, которым робот строго следует.
7. Canonical.
Метод, который очень сильно притянут за уши) Может сработать только если обе страницы идентичны. В противном случае страница останется в индексе.
Если какой-то метод я забыл – пишите в комментариях.
👉 Подписывайтесь на телеграм с новостями по SEO – https://t.me/inseo_inweb
