Мета-тег robots используется как аналог файла robots.txt, но при этом является более универсальным инструментом, позволяющим точечно исключать страницы из поисковой выдачи, сохраняя возможность роботу посещать их и при необходимости, учитывать ссылки. Для продвижения больших сайтов данный тег становится необходимостью, так как количество технических страниц со временем только растет, но их появление в выдаче поисковиков может приводить к проблемам с определением релевантности, что чревато скачками позиций и потерей трафика.
Наиболее распространенные конструкции мета-тега robots:
1. <meta name="robots" content="noindex, follow"/>: здесь мы запрещаем поисковым роботам индексировать контент на странице, при этом разрешаем переходить по размещенным на ней ссылкам. Используется чаще всего на страницах пагинации, чтобы исключить появление дубликатов текстов, но при этом добиться правильной индексации сайта, либо где мало текстов и нет пользы для поисковиков.
2. <meta name="robots" content="noindex, nofollow"/>: здесь запрещаем целиком индексировать страницу, включая ссылки на ней. Является почти полным аналогом закрытия в файле robots.txt, за исключением того, что поисковый робот будет периодически посещать ее, чтобы убедиться в наличии запрета.
3. <meta name="robots" content="index, follow"/>: разрешение на полную индексацию страницы.
В основном используется первый вариант, так как он более универсальный и позволяет роботу видеть ссылки. Важно учитывать, что если по какой-то причине хотите временно исключить страницы из поисковой выдачи (к примеру, раздел еще не до конца готов, но сайт выложен), а потом быстро вернуть, то использование meta robots позволит это реализовать лучше, чем файл robots.txt, который запрещает роботам даже посещать страницы.
Дополнительным преимуществом meta robots является его возможность точечно исключать ненужные нам страницы, тогда как в robots.txt удобнее закрывать целые разделы или весь сайт, если структура адресов страниц изначально продумана верно.
На практике постоянно приходится сталкиваться с игнорированием Google файла robots.txt, тогда как meta robots он всегда обрабатывает верно. Связано это с тем, что поисковик ставит перед собой задачу индексировать весь контент сайта, а уже дальше разбираться, что к чему. Если у вас изначально стоял запрет в robots.txt, а только потом вы добавили meta robots, то Google может не удалить страницы из поиска, а сохранить их старые версии на момент, когда вы поставили запрет в robots.txt, поэтому использование мета-тега считается более надежным.
Исключенные из поиска страницы можно посмотреть в панели вебмастера Яндекса, так удобнее понимать, не закрыто ли что-то лишнее или, наоборот, что-то было упущено. Чем проще и понятней для поисковых роботов будет ваш сайт, тем легче будет проходить его индексация и переиндексация, поэтому стремитесь исключить все лишнее, оставив только главное.
Вернуться к содержанию SEO-курса
Мои услуги:
Консультации по SEO от 75000 р.
Продвижение сайтов от 75000 р.
Разработка сайтов под SEO от 600000 р.
Форма для связи на сайте: blagih.ru
Алексей Благих
Оригинал статьи: https://webimho.ru/topic/11980/
