Файл 🤖 robots.txt — это текстовый документ (да, его можно создать прямо в блокноте 😉) в кодировке UTF-8, действует для протоколов http и https, а также FTP.
Он должен располагаться в корневом каталоге и быть доступен по адресу типа: https://вашдомен.ru/robots.txt.
❓Зачем нужен файл robots 🤖
Этот файл дает роботам поисковым систем рекомендации: какие страницы/файлы вашего сайта надо сканировать и показывать в выдаче, а какие оставить "приватными" 👌
Для последнего это, например, могут быть:
🔹страницы с личной инфой пользователей;
🔹страницы админки;
🔹страницы с разными формами отправки информации;
🔹страницы каталога с применением фильтров;
🔹сайты-зеркала;
🔹страницы с результатами поиска на сайте.
❓Из чего состоит файл robots 🤖
Содержание файла невелико, так что получится быстро запомнить все параметры:
🔺User-agent
🔺Disallow
🔺Allow
🔺Host
🔺Sitemap
🔺Clean-param
Есть ещё Crawl-delay, но его используют в случае, когда сервер очень слабый 😝
#внутренняяоптимизациясайта #поисковаяоптимизация #seoпродвижение #файлrobotstxt