Ловите полезную инфу 👇 про директивы файла robots 🤖
🔺User-agent - чтобы показать, к какому поисковому роботу вы обращаетесь
Так, например, User-agent: * - обращение ко всем роботам одновременно.
А вот отдельно для роботов Гугл будет User-agent: Googlebot, для всех роботов Яндекса User-agent: Yandex
🔺Disallow - как можно догадаться из перевода, это запрещающая директива, используется, чтобы скрыть определённые страницы сайта от индексации.
🔺Allow - наоборот разрешающая директива, можно комбинировать с disallow, если, например, нужно открыть для индексации только некоторые части раздела на сайте (или каталога).
🔺Host - используется для указания роботу корректного зеркала сайта. Важно учесть, что адрес сайта пишется без приставки «https://», но если сайт работает на https, приставку надо добавить.
🔺Sitemap - чтобы сообщить поисковым роботам, по какому адресу находится карта сайта, в которую включены все url обязательные для индексации.
🔺Clean-param - для избежания дублирования контента, борется с get-параметрами, которые неизбежно появятся, если в каталоге на сайте есть различные фильтры и т.п.
#директивы #файлроботс #файлrobotstxt
Полезную инфу выше легко сохранить в Телеграм:
Не забудь подписаться на канал ;)