С какой целью порой может использоваться закрытие веб-сайта или каких-то его разделов, страниц от индексации поисковыми системами? Вариантов с ответами имеются несколько: Например, это могут быть портфолио, материалы сайта с устаревшим смыслом, какие-то расписания в справочниках. Запрет на индексацию сайта или каких-то частей с помощью файла robots.txt Для начала нужно создать текстовый файл с названием robots.txt. Затем прописываем там следующий код: 1 User-agent: * 2 Disallow: / После этого полученный файл robots...