2601 подписчик

Как закрыть страницы от индексации в файле robots.txt: пошаговая инструкция

15 февраля 202115 фев 2021

1158

1 мин

Файл robots.txt — это текстовый файл, в котором содержаться инструкции для поисковых роботов, в частности каким роботам и какие страницы допускается сканировать, а какие нет. Как закрыть страницы сайта от индексации через robots.txt Disallow запрещает индексацию отдельной страницы или группы (в том числе всего сайта). Чаще всего используется для того, чтобы скрыть технические страницы, динамические или временные страницы. Пример #1 # Полностью закрывает весь сайт от индексации User-agent: * Disallow: / Пример #2 # Блокирует для скачивания все страницы раздела /category1/, например, /category1/page1/ или caterogy1/page2/ Disallow: /category1/ Пример #3 # Блокирует для скачивания страницу раздела /category2/ User-agent: * Disallow: /category1/$ Пример #4 # Дает возможность сканировать весь сайт просто оставив поле пустым User-agent: * Disallow: Важно! Следует понимать, что регистр при использовании правил имеет значение, например, Disallow: /Category1/ не запрещает посещение страницы /c

Оглавление

Как закрыть страницы сайта от индексации через robots.txt
Пример #1
Пример #2

Как закрыть страницы сайта от индексации через robots.txt

Disallow запрещает индексацию отдельной страницы или группы (в том числе всего сайта). Чаще всего используется для того, чтобы скрыть технические страницы, динамические или временные страницы.

Пример #1

# Полностью закрывает весь сайт от индексации

User-agent: *

Disallow: /

Пример #2

# Блокирует для скачивания все страницы раздела /category1/, например, /category1/page1/ или caterogy1/page2/

Disallow: /category1/

Пример #3

# Блокирует для скачивания страницу раздела /category2/

User-agent: *

Disallow: /category1/$

Пример #4

# Дает возможность сканировать весь сайт просто оставив поле пустым

User-agent: *

Disallow:

Важно! Следует понимать, что регистр при использовании правил имеет значение, например, Disallow: /Category1/ не запрещает посещение страницы /category1/.

Где можно найти файл robots.txt и как его создать или редактировать

Чтобы проверить файл robots.txt сайта, следует добавить к домену «/robots.txt», примеры:

https://seopulses.ru/robots.txt

https://serpstat.com/robots.txt

https://netpeak.net/robots.txt

Как создать и редактировать robots.txt

Вручную

Данный файл всегда можно найти, подключившись к FTP сайта или в файлом редакторе хостинг-провайдера в корневой папке сайта (как правило, public_html):