7 подписчиков
Попытка управления роботами, чтобы они делали то, что нужно и не делали того, чего 100% не нужно, началась уже давно. И это я про файл robots.txt
Кстати, как показывает практика, вообще ничего не мешает поисковым роботам вести себя не так, как ты этого хочешь, а так, как их владельцы.
Хотя... Понимать хотя бы азы того, как можно попробовать ими управлять через команды в robots.txt, желательно всем, у кого есть свой сайт.
Поэтому "азы для самых маленьких" тут:
Читаем, но особо не надеемся что-то спрятать от робота. Если есть ссылка на секретные материалы, они их обязательно утащат!
#SEO #Яндекс #СЕО #Google #робот
Около минуты
17 декабря 2022