Что такое файл robots.txt  – это файл указывающий поисковому роботу как и по каким правилам обрабатывать сайт. В нем указываются директивы для индексирования или запрета индексирования сайта, расположение карты сайта и т.д. Приступая к созданию файла Robots.txt, необходимо в первую очередь понимать для чего он необходим и как правильно его необходимо настроить. Многие Веб мастера пренебрегают необходимостью корректного составления файла Robots.txt что приводит к ошибкам при индексировании сайта...