Здравствуйте, уважаемые читатели блога. Если задуматься о том, почему каждый день в тему СЕО приходит множество новичков, а в итоге опытных профессионалов из этой массы выходит относительно мало, то можно прийти к единственному выводу: что-то новички делают не так...

Как показывает практика, база технического SEO – файл robots.txt, – многими вебмастерами не только заполняется неправильно, но и без понимания, зачем этот файл и как он работает. Статей на эту тему – объективно, тонны, но есть смысл расставить некоторые акценты. Для чего вообще нужен robots.txt В интернете можно найти много глупых советов по настройкам robots.txt. Люди советуют управлять с его помощью доступами, предлагают какие-то типовые шаблонные списки инструкций, пытаются что-то удалять таким образом из индекса...