В ходе разработки, редизайн либо других радикальных изменений сайта, его лучше закрыть от индексации, а иногда и от пользователей. Google показал 3 способа скрыть сайт из поисковой выдачи и дал рекомендации, какой выбрать, исходя из ситуации.
Оптимальным способом скрыть сайт из результатов поиска остается пароль. Но есть и другие варианты:
- заблокировать сканирование страниц сайта Google-ботом;
- заблокировать индексирование страниц.
Блокирование сайта от индексации и доступ по паролю не нарушают правила Google. Единственное исключение: сайт показывает разный контент роботу Google и реальным пользователям.
Как скрыть сайт в результатах поиска
1. Через пароль
Пароль — оптимальное решение, если надо скрыть сайт. Пароль блокирует доступ к контенту как роботу Google, так и пользователям. Такой метод часто применяется в разработке, когда необходимо предоставить доступ к сайту ограниченному кругу людей.
2. Через сканирование
Чтобы сайт не попал в индекс и, соответственно, в выдачу, можно заблокировать сканирование роботом в файле robots.txt.
Обратите внимание, что в таком случае сайт остается доступен тем, у кого есть прямая ссылка. А поисковые системы все равно смогут в некоторых случаях индексировать сайт даже без доступа к контенту.
Google в инструкциях по robots.txt указывает, что блокировка индексирования через файл не исключает возможность добавления страниц сайта в индекс. Поисковые роботы могут добавить страницу при наличии внешних ссылок на нее. В этом же документе Google упоминает альтернативы: пароль и noindex.
Чтобы закрыть сайт от сканирования роботами поисковых систем, в файле robots.txt надо указать:
User-agent: *
Disallow: /
Если сканирование надо запретить определенной поисковой системе, то запись будет выглядеть так:
User-agent: Google
Disallow: /
Также можно запретить сканирование папки или изображений.
Для папки запись выглядит так:
User-agent: *
Disallow: /folder/
Для изображения так:
User-Agent: *
Disallow: *.jpg (*.png, *.gif)
3. Через индексирование
Чтобы запретить индексирование, надо добавить тег noindex на страницы. При этом у пользователей остается доступ к страницам сайта.
Google рекомендует применять защиту паролем, если надо ограничить доступ пользователям. Другие опции блокируют доступ только поисковым роботам, но не исключают индексирование.
Google предупреждает, что одновременное использование нескольких способов может привести к конфликту. Об особенностях обработки директив по индексированию и показу страниц можно прочитать здесь.