Найти тему
Inweb

Топ 7 способов исключить страницу из индекса

Оглавление

1. Метатег Robots и X-Robots-Tag

Самый простой и эффективный способ – добавить на страницу <meta name="robots" content="noindex, follow">. Работает при любых условиях, страница будет исключена из индекса в течение недели. Хотя, могут быть случаи, когда потребуется больше времени. Зависит от скорости сканирования ресурса.

Если страница из индекса не удаляется – используйте инструмент "Удаления" в Google Search Console.

X-Robots-Tag работает аналогично метатегу Robots, отличается только тем, что размещается не в коде страницы, а в HTTP заголовке.

👉 Хотите быть в курсе всех важных новостей по SEO? Подписывайтесь на телеграм канал Владислава Наумова, Head of SEO в агентстве Inweb.

2. 301 редирект.

Со страницы можно прописать 301 редирект на похожий документ. Обычно, занимает несколько недель, прежде чем старый документ будет исключен из индекса.

Следует использовать в том случае, когда нужно передать со страницы вес на новый документ либо же на страницу есть внешние ссылки.

3. Удаление страницы 404 или 410.

-2

Классический метод – удалить страницу и показывать пользователю страницу 404 ошибки и отдавать 404 код ответа сервера.

404 – страница сейчас недоступна, может быть скоро снова будет 200. Поисковые системы сканируют такие страницы даже через годы после их удаления.

410 – страница удалена навсегда. Со временем, всегда разным, поисковые системы прекращают сканировать страницы.

4. Запрет доступа - 403.

-3

Запретить доступ к странице через htaccess и отдавать 403 код ответа сервера. 403 код означает, что необходима авторизация для получения доступа к странице.

Поисковые системы не индексируют страницы с таким кодом ответа сервера.

5. Удалить страницу через GSC.

-4

Можно удалить страницу через инструмент "Удаления" в Google Search Console. Самый быстрый способ, буквально 15 минут и страницы в индексе как не бывало. Но если страница не закрыта от индексации и отдает 200 код ответа сервера – через время она вернется.

Кстати, есть метод массового удаления url-адресов через плагин для Google Chrome. Можно в фоновом режиме удалять url-адресами тысячами.

6. Robots.txt.

-5

Простой и эффективный метод. Но, есть небольшая вероятность, что страница всё-таки попадет в индекс Google, ведь для него это правила сканирования, а не индексирования. Такая страница может попасть в отчет «Проиндексировано, несмотря на запрет в файле Robots.txt».

Для Яндекса 100% метод, ведь для него в файле Robots.txt указаны правила сканирования и индексирования, которым робот строго следует.

7. Canonical.

-6

Метод, который очень сильно притянут за уши) Может сработать только если обе страницы идентичны. В противном случае страница останется в индексе.

Если какой-то метод я забыл – пишите в комментариях.

👉 Подписывайтесь на телеграм с новостями по SEO – https://t.me/inseo_inweb