Ранее мы рассматривали случай, когда необходимо проиндексировать сайт, чтобы он появился в поисковиках. Сегодня, наоборот, мы расскажем как закрыть сайт от поисковых систем.
Зачем закрывают сайт от индекса?
Закрытие сайта от индексации - обязательное условие при создании нового или редизайне текущего сайта, т.к.
☝️Пользователи, зашедшие на случайно проиндексированные страницы
неготового сайта, скорее всего, его покинут и, более того, запомнят и будут в дальнейшем его избегать.
☝️У поисковых систем сформируется негативная история посещений вашего сайта, что осложнит последующее продвижение (потребуется больше времени до появления результата)
Как закрыть сайт от индексации
Самый распространенный способ, который работает практически на 100% - это размещение специально составленного файла robots.txt. Напомним, что robots.txt - это файл, размещенный по адресу домен/robots.txt, к которому обращаются роботы поисковых систем за инструкцией по индексации вашего сайта.
Содержимое файла должно быть таким:
User-agent: *
Disallow: /
Что означает следующее: роботам любой поисковой системы (User-agent: *) запрещен доступ ко всем страницам сайта (Disallow: / )
Что, если нужно закрыть только раздел?
Если вам не нужно закрывать сайт целиком, а требуется закрыть доступ только к какому-то определенному разделу, то в robots.txt пишем следующее:
User-agent: *
Disallow: /razdel-vashego-saita/
Обращаем внимание, что можно закрыть сайт от индексации как всех поисковых систем, так и определенного поисковика, например Яндекса. Тогда вместо User-agent: * необходимо написать User-agent: Yandex.