Важность наличия собственного веб-сайта для современного бизнеса трудно переоценить. Однако не все страницы вашего сайта должны быть доступны для общественности и поисковых систем. Неконтролируемая индексация может привести к проблемам: появлению дублированного контента, потере конфиденциальных данных, снижению позиций в результатах поиска. В статье рассказываем, на каких веб-страницах следует запретить индексирование и как можно это сделать. Что такое индексация сайта Индексацией называется процесс сканирования сайтов и внесения их в базу поисковых систем — таких, как Яндекс и Google...

С какой целью порой может использоваться закрытие веб-сайта или каких-то его разделов, страниц от индексации поисковыми системами? Вариантов с ответами имеются несколько: Например, это могут быть портфолио, материалы сайта с устаревшим смыслом, какие-то расписания в справочниках. Запрет на индексацию сайта или каких-то частей с помощью файла robots.txt Для начала нужно создать текстовый файл с названием robots.txt. Затем прописываем там следующий код: 1       User-agent: * 2       Disallow: / После этого полученный файл robots...