Индексация веб-сайта поисковыми роботами — процедура, направленная на сканирование сайта, обработку информации и добавление сведений о ресурсе в специальную базу для дальнейшего ранжирования в поисковой выдаче. Благодаря этим действиям интернет-магазины, информационные, игровые и другие порталы становятся доступными и видимыми для посетителей и потенциальных клиентов. Но иногда или его отдельные страницы нуждаются в закрытии от индексации. Попытаемся разобраться, когда в таких манипуляциях возникает необходимость и как это происходит...