Если вы WEB-разработчик или начинающий SEO-оптимизатор, наверняка вы слышали про файл robots.txt. А вот, правильно ли вы его используете. Иногда есть необходимость закрыть сайт, раздел сайта, либо определенную страницу, от поисковых систем, таким образом, чтобы она (страница) не попадала в поисковую выдачу.
Файл robots.txt вам поможет в Яндекс, но не поможет в Google.
В Google, этот файл предназначен только для запрета сканирования, но не индексирования. Это два разных понятия, две разных задачи поисковых систем. Поэтому, если вы хотите закрыть сайт, раздел или страницу от Google. Вам необходимо использовать, либо авторизацию на данной странице или сайте, например, http-авторизация, либо использовать директиву noindex.
