Здравствуй дорогой читатель!
Как я писал ранее. SEO состоит из 4х основных направлений которые содержат много подпунктов. Сегодня мы разберем такую часть технической оптимизации как файл robots.txt.
Что это за зверь такой?
Файл robots.txt отвечает за то, как поисковые роботы индексируют сайт.
Индексация поисковым роботом. У поисковых систем есть специальные программы называемые роботами, которые обходят сайты в интернете и сохраняют их содержимое в свою базу. Из которой дальше показывается список ссылок, на сайты, на запрос пользователя к поисковой системе.
Важно знать. Чем лучше ваш сайт удовлетворяет потребность пользователей по определенным запросам, тем выше он будет в выдаче поисковиков.
В файле robots.txt, используя специальные слова, можно разрешить роботам поисковых систем посещать определенные страницы, а к каким-то наоборот запретить доступ.
Благодаря данному файлу, можно улучшить индексацию сайта, что скажется положительно на его позициях.
Данный файл должен располагаться по адресу "вашдомен.ру/robots.txt".
Полный синтаксис данного файла можно прочитать на официальной странице Яндекса по ссылке - https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html
Из личного опыта. Если кому-то покажется, что данный файл не важен, знайте. Самые большие проблемы обычно происходят из-за простых вещей. Так, однажды был случай, что сайт не появлялся в выдаче поисковых систем на протяжении более 3х месяцев, были выполнены полностью все работы, которые были гораздо сложнее, чем настройка файла robots.txt, а сайт не двигался и не понятно в чем причина.
Каково же было мое негодование, когда я решил начать проверку с самого начала и заглянул в robots.txt. Оказалось, что разработчики сайта запретили в данном файле индексацию сайта полностью, на момент разработки, а открыть забыли. Вот такие дела.
Если вам интересна тематика SEO и интернет маркетинга, подписывайтесь и жмите лайк.
Я читаю все комментарии, если у вас появился вопрос, задавайте! Постараюсь ответить на все.
