Всем привет. Сегодня я решил затронуть тему ограничений. В большей степени, я считаю, статья подойдет молодым родителям, хотя может и более широкому кругу пользователей. Случается, так, что ваш ребенок, друг, брат либо просто кто-то из гостей, использует ваш компьютер для неприличных целей. Или просто проводит много времени за развлекательным контентом вместо учебы. В такие моменты и возникают мысли о том, что было бы неплохо ограничить доступ в интернет на определенные ресурсы. Как ограничить доступ...

Вы хотите, чтобы страница сайта не появлялась в выдаче? Тогда одного запрета на сканирование в robots.txt будет недостаточно. Да, поисковые роботы не соберут закрытую информацию при посещении вашего сайта, но это не помешает им узнать о существовании страницы другими способами. Если любой другой открытый для сканирования источник ссылается на страницу, которую вы заблокировали через robots.txt, она все-таки попадет в индекс. При этом у нее будет сокращенный сниппет — без доступа к контенту поисковику неоткуда взять описание...