robots.txt — это как указатель на дороге для поисковых роботов. Он говорит, куда можно ехать, а куда лучше не лезть. Если настроить его неправильно, поисковики начнут бегать по сайту как слепые котята: то заблудятся, то пойдут туда, где их не ждут, или вовсе игнорируют важные страницы. Настроить файл robots.txt проще, чем кажется, но именно от него во многом зависит, как эффективно поисковики будут сканировать сайт. Разберёмся, что это за штука и как сделать всё так, чтобы роботы не только не запутались, а с удовольствием отработали каждый байт вашего контента...