Часто происходит путаница в терминологии: под индексацией иногда подразумевают сканирование сайта или совокупность и сканирования и индексации. В этом нет большой ошибки, часто путаницу вносят сами мануалы поисковых систем. Иногда  в текстах Яндекса и Гугла можно увидеть использование термина индексация в разных контекстах, например: Индексация сайта простыми словами Так что же такое индексация: если кратко, то индексация (или индексирование, indexing) — один из процессов работы поисковых систем...

С какой целью порой может использоваться закрытие веб-сайта или каких-то его разделов, страниц от индексации поисковыми системами? Вариантов с ответами имеются несколько: Например, это могут быть портфолио, материалы сайта с устаревшим смыслом, какие-то расписания в справочниках. Запрет на индексацию сайта или каких-то частей с помощью файла robots.txt Для начала нужно создать текстовый файл с названием robots.txt. Затем прописываем там следующий код: 1       User-agent: * 2       Disallow: / После этого полученный файл robots...