{"draftJsState":{"blocks":[{"data":{"image":{"id":"61acbf9632fa90290b04a2c7"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"f9sff"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"unstyled","key":"2nt2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"С какой целью порой может использоваться закрытие веб-сайта или каких-то его разделов, страниц от индексации поисковыми системами? Вариантов с ответами имеются несколько:","type":"unstyled","key":"f3uk9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Следует убрать от всеобщего обзора ту или иную информацию, в которой могут находиться секретные данные.","type":"unordered-list-item","key":"71roj"},{"data":{},"depth":0,"entityRanges":[{"key":0,"length":19,"offset":35}],"inlineStyleRanges":[],"text":"Если нужно сформировать подходящий релевантный контент: случаются варианты, если очень сильно возникает желание сообщить пользователям Интернете больший поток информации, однако которая делает туманной релевантность по тексту.","type":"unordered-list-item","key":"95fad"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Закрыть от роботов дублирующий контекст.","type":"unordered-list-item","key":"8t3gu"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Спрятать информацию, которая не представляет интереса для пользователей, и которую так не любят поисковые роботы, считая ее спамом в медиа-контенте.","type":"unordered-list-item","key":"9ab9l"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Например, это могут быть портфолио, материалы сайта с устаревшим смыслом, какие-то расписания в справочниках.","type":"unstyled","key":"eac6n"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":73,"offset":0,"style":"BOLD"}],"text":"Запрет на индексацию сайта или каких-то частей с помощью файла robots.txt","type":"unstyled","key":"1pcc6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Для начала нужно создать текстовый файл с названием robots.txt.","type":"unstyled","key":"6lv17"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Затем прописываем там следующий код:","type":"unstyled","key":"4e8ik"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"1 User-agent: *","type":"unstyled","key":"e60u5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"2 Disallow: /","type":"unstyled","key":"c54p0"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"После этого полученный файл robots.txt уже с помощью FTP заливаем в корень сайта.","type":"unstyled","key":"6ftvo"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":52,"offset":16,"style":"BOLD"}],"text":"Если необходимо запретить индексацию сайта только от роботов Яндекса нужно прописать:","type":"unstyled","key":"bf31"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"1 User-agent: Yandex","type":"unstyled","key":"7r47o"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"2 Disallow: /","type":"unstyled","key":"1h68s"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":37,"offset":14,"style":"BOLD"}],"text":"Если же нужно закрыть сайт только от роботов Google, то код примет следующий вид:","type":"unstyled","key":"aa5g3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"1 User-agent: Googlebot","type":"unstyled","key":"82nq6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"2 Disallow: /","type":"unstyled","key":"834i"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":49,"offset":0,"style":"BOLD"}],"text":"Закрытие сайта от индексации через файл .htaccess","type":"unstyled","key":"e0ap2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Способ первый – прописать отдельную строку для каждой поисковой системы","type":"unstyled","key":"5i4jv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Для этого в файле .htaccess делаем следующие записи в коде:","type":"unstyled","key":"5g1m9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"1 SetEnvIfNoCase User-Agent \"^Yandex\" search_bot","type":"unstyled","key":"9ec6j"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"2 SetEnvIfNoCase User-Agent \"^Googlebot\" search_bot","type":"unstyled","key":"baequ"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"3 SetEnvIfNoCase User-Agent \"^Mail\" search_bot","type":"unstyled","key":"fi2ud"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"4 SetEnvIfNoCase User-Agent \"^Aport\" search_bot","type":"unstyled","key":"d80v7"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"5 SetEnvIfNoCase User-Agent \"^Yahoo\" search_bot","type":"unstyled","key":"27tee"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"6 SetEnvIfNoCase User-Agent \"^msnbot\" search_bot","type":"unstyled","key":"8ulbs"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"7 SetEnvIfNoCase User-Agent \"^Robot\" search_bot","type":"unstyled","key":"crang"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"8 SetEnvIfNoCase User-Agent \"^Snapbot\" search_bot","type":"unstyled","key":"3bpum"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"9 SetEnvIfNoCase User-Agent \"^WordPress\" search_bot","type":"unstyled","key":"8qeqe"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"10 SetEnvIfNoCase User-Agent \"^Parser\" search_bot","type":"unstyled","key":"f5rig"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"11 SetEnvIfNoCase User-Agent \"^BlogPulseLive\" search_bot","type":"unstyled","key":"atjm1"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"12 SetEnvIfNoCase User-Agent \"^spider\" search_bot","type":"unstyled","key":"1p1og"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"13 SetEnvIfNoCase User-Agent \"^bot\" search_bot","type":"unstyled","key":"6l2l5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"14 SetEnvIfNoCase User-Agent \"^igdeSpyder\" search_bot","type":"unstyled","key":"b08cj"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"15 SetEnvIfNoCase User-Agent \"^php\" search_bot","type":"unstyled","key":"cfk08"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Способ второй","type":"unstyled","key":"5bsrg"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Для страницы, которую необходимо закрыть, можно в файле .htaccess прописать любой из следующих ответов сервера:","type":"unstyled","key":"cm182"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"1 403 «Доступ к ресурсу запрещен», т.е. код 403 Forbidden","type":"unstyled","key":"62e6h"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"2 410 «Ресурс недоступен», т.е. окончательно удален","type":"unstyled","key":"3vlsh"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Способ третий","type":"unstyled","key":"8mrmd"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Можно закрыть индексацию к сайту с помощью доступа только по паролю:","type":"unstyled","key":"76ugl"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В этом случае, в файле .htaccess, вставляем следующий код:","type":"unstyled","key":"47lqr"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"1 AuthType Basic","type":"unstyled","key":"ikru"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"2 AuthName \"Password Protected Area\"","type":"unstyled","key":"csk59"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"3 AuthUserFile /home/user/www-pass/.htpasswd","type":"unstyled","key":"f1rsi"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"4 Require valid-user","type":"unstyled","key":"594qo"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Значит в корне сайта создаем - home/user/www-pass/.htpasswd","type":"unstyled","key":"4eqed"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"где .htpasswd - файл с паролем, который создаем сами в файле.","type":"unstyled","key":"av0dj"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Но затем следует добавить пользователя в файл паролей htpasswd - /home/user/www-pass/.htpasswd USERNAME","type":"unstyled","key":"e1bvu"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"где USERNAME - это имя пользователя для авторизации.","type":"unstyled","key":"9l8rv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Здесь можно прописать свой вариант.","type":"unstyled","key":"6v0ok"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":41,"offset":0,"style":"BOLD"}],"text":"Как закрыть отдельный блог от индексации?","type":"unstyled","key":"a3g4c"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Зачастую бывает, что необходимо закрыть от поисковой индексации не весь сайт целиком, а только конкретный источник: список, счетчик, запись, страницу либо какой-нибудь код.","type":"unstyled","key":"24rlp"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В одно время, достаточно было использовать тег \"noindex\", но это больше подходило для роботов Яндекса, а для Google были достаточны обычные действия.","type":"unstyled","key":"7dr4j"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Здесь может быть любой текст, ссылки или код","type":"unstyled","key":"1ki18"},{"data":{},"depth":0,"entityRanges":[{"key":1,"length":23,"offset":238}],"inlineStyleRanges":[],"text":"Но затем роботы Яндекс стали меньше обращать внимания на такую техническую «уловку», а роботы Google вообще перестали понимать данную комбинацию. В результате, технические специалисты сайтов, стали применять иной вариант с целью закрытия индексации части текста на какой-либо странице, используя скрипты javascript, либо соответствующие плагины или модули.","type":"unstyled","key":"df60f"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Часть текста шифруется с помощью javascript. Но следует помнить, что затем непосредственно сам скрипт нужно будет закрыть от индексации в robots.txt.","type":"unstyled","key":"3fvd7"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":69,"offset":0,"style":"BOLD"}],"text":"Универсальный способ закрытия изображений (медиафайлов) от индексации","type":"unstyled","key":"2oob7"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Многие сайты используют картинки, которые в основном берутся из Интернета, я значит никак не могу считаться уникальными. В результате таких действий, появляется боязнь, то, что роботы поисковиков отнесутся к таким сайтам негативно, а именно будут блокировать продвижение и повышение в рейтингах.","type":"unstyled","key":"61aei"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В этом случае следует на странице сделать следующую запись в коде:","type":"unstyled","key":"9f1kd"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"

","type":"unstyled","key":"fgki8"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Скрипт, который будет обрабатывать элемент:","type":"unstyled","key":"7a9gm"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"unstyled","key":"735dh"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":57,"offset":0,"style":"BOLD"}],"text":"Как закрыть от индексации внешние либо внутренние ссылки?","type":"unstyled","key":"77uns"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Такие действия нужно только в том случае, если нужно закрыть от индексации входящие ссылки от сайтов находящиеся под санкциями поисковых систем, а так же скрыть исходящие ссылки на сторонние ресурсы, чтобы предотвратить уменьшение веса сайта, а именно ТИЦ сайта донора.","type":"unstyled","key":"5lpvc"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Для этого нужно создать файл transfers.js","type":"unstyled","key":"87k5h"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"После этого нижеуказанную часть кода вставляем в файл transfers.js:","type":"unstyled","key":"11lb5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"function goPage(sPage) {","type":"unstyled","key":"d3r00"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"window.location.href = sPage;","type":"unstyled","key":"2h9pj"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"}","type":"unstyled","key":"chg3i"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"После этого данный файл уже размещаем в соответствующей папке сайта и на странице в head добавляем код:","type":"unstyled","key":"frfva"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"unstyled","key":"2cdiv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"И теперь прописываем необходимую ссылку, которую нужно скрыть от индексации поисковых систем:","type":"unstyled","key":"5ein8"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"unstyled","key":"6a5g2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":62,"offset":0,"style":"BOLD"}],"text":"Как закрыть от индексации роботов отдельную страницу на сайте?","type":"unstyled","key":"b3kj3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Первый метод - через файл robots.txt","type":"unstyled","key":"db1e2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"unstyled","key":"46atk"},{"data":{},"depth":0,"entityRanges":[{"key":2,"length":18,"offset":11}],"inlineStyleRanges":[],"text":"Disallow: /URL-страницы сайта","type":"unstyled","key":"3i6l7"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"

","type":"unstyled","key":"69uc6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Второй метод - закрытие с помощью метатегов","type":"unstyled","key":"88abf"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"unstyled","key":"13bod"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Третий метод - в Вебмастере Яндекса, в разделе \"Инструменты\" с помощью \"Удалить URL\" можно отдельно по каждой ссылке сделать запрет на индексацию от роботов Яндекса.","type":"unstyled","key":"co6qo"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Четвертый метод - сделать запрет на индексацию через ответ сервера:","type":"unstyled","key":"92ueq"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"404 - ошибка страницы","type":"unstyled","key":"doep9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"410 - страница удалена","type":"unstyled","key":"bos4n"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"И сделать добавление в файле .htaccess:","type":"unstyled","key":"87qb1"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"ErrorDocument 404 https://URL-сайта/404","type":"unstyled","key":"7dgq"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Однако, данным метод используется весьма редко.","type":"unstyled","key":"apfc0"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":67,"offset":0,"style":"BOLD"}],"text":"Как закрыть от индексации сразу весь раздел или категорию на сайте?","type":"unstyled","key":"bmdqm"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Лучший способ - реализовать это с помощью файла robots.txt, где внутри прописать:","type":"unstyled","key":"cparh"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"User-agent: *","type":"unstyled","key":"fm70t"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Disallow: /название раздела или категории","type":"unstyled","key":"avpmb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Дополнительные варианты:","type":"unstyled","key":"bpfa7"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Кроме указанных выше способов, также могут подойти способы, которые применяются для сокрытия страницы сайта целиком, либо какого-то раздела, - правда, если подобные действия могут быть сделаны автоматически:","type":"unstyled","key":"6r5fi"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"соответствующий ответ сервера для определенных страниц раздела сайта","type":"unordered-list-item","key":"6g7e4"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"применение мета-тегов к определенным страницам","type":"unordered-list-item","key":"82g7d"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Все эти без исключения методы, возможно, осуществить программно, а никак не в «ручном» режиме назначать к любой страничке или части текста запрет на индексацию – весьма дороги трудовые затраты.","type":"unstyled","key":"fil68"},{"data":{},"depth":0,"entityRanges":[{"key":3,"length":10,"offset":71}],"inlineStyleRanges":[],"text":"Конечно, ведь легче в целом сделать соответствующее запрещение в файле robots.txt, однако практика показывает, то что это не может гарантировать на 100% запрет на индексацию.","type":"unstyled","key":"4mmju"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":40,"offset":0,"style":"BOLD"}],"text":"Как закрыть от индексации целиком папку?","type":"unstyled","key":"8efo6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В этом случае на закрытие пойдет непосредственно папка, а не раздел. Ведь нам нужно закрыть папку с файлами, которые не должны видеть поисковые роботы, а это могут быть какие-то разработки, документы, картинки и многое другое.","type":"unstyled","key":"6ltnn"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"User-agent: *","type":"unstyled","key":"6e9jf"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Disallow: /folder/","type":"unstyled","key":"4hlbo"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[{"length":62,"offset":0,"style":"BOLD"}],"text":"Пять способов закрытия на сайте дублей от поисковой индексации","type":"unstyled","key":"6d13s"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Первый способ - и наиболее верный, для того, чтобы их действительно не существовало - необходимо на физическом уровне освободиться от них, т.е. в любом варианте при открытии страницы, кроме оригинальной, должна демонстрироваться страница 404 - ответ сервера.","type":"unstyled","key":"2hksc"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Второй способ - применять атрибут rel=\"canonical\", который как раз и является наиболее правильным решением. Таким образом, равно как атрибут не позволяет роботам индексировать дублирующиеся страницы, так перенаправляет вес с дублей на оригиналы.","type":"unstyled","key":"7c89a"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Только на странице дубля в коде следует прописать:","type":"unstyled","key":"29pm8"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"unstyled","key":"fgh4l"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"marker","key":"nnIIThh8wvyCFWu6LfxH"}],"entityMap":{"0":{"data":{"href":"https://seo-master.pro/faktor-uspeha-v-kontente","url":"https://seo-master.pro/faktor-uspeha-v-kontente"},"mutability":"MUTABLE","type":"LINK"},"1":{"data":{"href":"https://seo-master.pro/smo-optimizatsiya-sayta/audit-sayta","url":"https://seo-master.pro/smo-optimizatsiya-sayta/audit-sayta"},"mutability":"MUTABLE","type":"LINK"},"2":{"data":{"url":"https://seo-master.pro/zakritie-ssilok-srtanic-ot-indexacii"},"mutability":"MUTABLE","type":"LINK"},"3":{"data":{"href":"https://seo-master.pro/smo-optimizatsiya-sayta/analiz-arhitekturyi-sayta","url":"https://seo-master.pro/smo-optimizatsiya-sayta/analiz-arhitekturyi-sayta"},"mutability":"MUTABLE","type":"LINK"}}},"mentions":[]}