Коротко о том, как нужно обращаться с ботами, которые парсят Ваш сайт и куда их можно приспособить для пользы делу: