{"draftJsState":{"blocks":[{"data":{"image":{"id":"6ab0e6e9dd3bf908285fdf52"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"fo8rt"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Любой сайт — это сложная система страниц, файлов, ссылок и технических разделов. Чтобы SEO-продвижение работало эффективно, важно управлять тем, какие материалы поисковые системы могут индексировать, а какие лучше исключить из выдачи.","type":"unstyled","key":"90olt"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Иногда нужно скрыть от поиска служебные страницы, дубли, результаты фильтрации, документы или файлы. В других случаях важно разрешить индексацию страницы, но ограничить переход по ссылкам или управление сниппетом.","type":"unstyled","key":"ffqtf"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Для этих задач используют два основных инструмента: метатег robots и HTTP-заголовок X-Robots-Tag. Они помогают сообщить поисковым системам, как обрабатывать конкретную страницу или файл: добавлять в индекс, исключать из выдачи, переходить по ссылкам или не учитывать их.","type":"unstyled","key":"7b50l"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"При правильной настройке эти директивы помогают контролировать индексацию сайта и снижать риск появления технических страниц в поиске. Ошибки, наоборот, могут привести к потере трафика: например, если на важной категории или карточке товара случайно установлен noindex, страница может исчезнуть из результатов поиска.","type":"unstyled","key":"e3fvb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Что такое метатег robots и как он работает","type":"header-two","key":"da2hn"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Метатег robots — это HTML-инструкция для поисковых роботов, которая сообщает, как обрабатывать конкретную страницу. Он размещается в коде страницы, обычно внутри блока .","type":"unstyled","key":"csr3o"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Пример:","type":"unstyled","key":"b57tl"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"unstyled","key":"7kqpe"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В этом примере поисковая система получает две инструкции:","type":"unstyled","key":"547ti"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"noindex — не добавлять страницу в индекс;","type":"unordered-list-item","key":"ao9d"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"follow — разрешить переход по ссылкам на странице.","type":"unordered-list-item","key":"89ia6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Метатег robots применяется именно к HTML-страницам. Он удобен, когда нужно управлять индексацией отдельных страниц сайта: карточек, категорий, служебных разделов, страниц фильтров, пагинации, результатов поиска по сайту.","type":"unstyled","key":"ehn7"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Google указывает, что правило noindex можно задавать через meta-тег или через HTTP-заголовок, а для удаления страницы из поиска поисковый робот должен иметь возможность зайти на страницу и прочитать эту директиву.","type":"unstyled","key":"35p0p"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Как поисковики обрабатывают meta robots","type":"header-two","key":"ai34f"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Когда поисковый робот заходит на страницу, он анализирует HTML-код и проверяет наличие метатега robots. Если указан noindex, страница не должна попадать в поисковый индекс. Если указан nofollow, поисковику передается инструкция не переходить по ссылкам на этой странице.","type":"unstyled","key":"4hd3r"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Основные варианты директив:","type":"unstyled","key":"8gbso"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"index — разрешить индексацию страницы;","type":"unordered-list-item","key":"7cihe"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"noindex — запретить индексацию страницы;","type":"unordered-list-item","key":"bf5hu"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"follow — разрешить переход по ссылкам;","type":"unordered-list-item","key":"2lgcu"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"nofollow — не переходить по ссылкам на странице;","type":"unordered-list-item","key":"c1kuv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"none — сокращенная запись для noindex, nofollow.","type":"unordered-list-item","key":"82aq0"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Важно понимать: robots.txt, meta robots и X-Robots-Tag решают разные задачи.","type":"unstyled","key":"d25dd"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"robots.txt управляет доступом поискового робота к URL.\nmeta robots управляет индексацией HTML-страницы.\nX-Robots-Tag управляет индексацией через HTTP-заголовок и подходит в том числе для файлов.","type":"unstyled","key":"t75e"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Если страница закрыта от обхода в robots.txt, поисковый робот может не увидеть метатег noindex, потому что не сможет зайти на страницу. Google прямо указывает, что в таком случае страница может продолжать появляться в поиске, например если на нее ведут ссылки с других сайтов.","type":"unstyled","key":"du5qp"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Яндекс также указывает, что если страница запрещена в robots.txt, метатег или заголовок с директивой не применяются.","type":"unstyled","key":"7qdb9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Метатег robots используют, чтобы:","type":"unstyled","key":"bhr8a"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"исключить страницу из поиска;","type":"unordered-list-item","key":"tfvg"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"оставить страницу доступной пользователям, но скрыть ее от индексации;","type":"unordered-list-item","key":"ftevd"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"управлять переходом поисковых роботов по ссылкам;","type":"unordered-list-item","key":"8f19f"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"закрыть служебные страницы;","type":"unordered-list-item","key":"71nf6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"убрать из выдачи дублирующий или малоценный контент;","type":"unordered-list-item","key":"374f2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"ограничить индексацию страниц фильтров, сортировок и внутренних результатов поиска.","type":"unordered-list-item","key":"e3o5p"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Для PDF, изображений, видео и других не-HTML-файлов метатег robots не подходит. Для таких ресурсов используют X-Robots-Tag. Google отдельно указывает, что для блокировки индексации не-HTML-ресурсов, например PDF, видео или изображений, нужно использовать HTTP-заголовок X-Robots-Tag.","type":"unstyled","key":"a05f8"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Как управлять индексацией страницы через метатег robots","type":"header-two","key":"3h4uc"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"С помощью метатега robots можно разрешать или запрещать индексацию страницы, а также управлять обработкой ссылок.","type":"unstyled","key":"8ibqe"},{"data":{"image":{"id":"6ab0e7125f9262069ab60ed9"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"540v2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Если метатег robots отсутствует, поисковые системы обычно считают, что страницу можно индексировать, а ссылки на ней можно обрабатывать.","type":"unstyled","key":"fdmdr"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"То есть поведение по умолчанию соответствует: ","type":"unstyled","key":"caul4"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Чтобы проверить, какие правила установлены на странице, можно открыть исходный код страницы в браузере:","type":"unstyled","key":"8536n"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Перейдите на нужную страницу.","type":"ordered-list-item","key":"abs25"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Нажмите правой кнопкой мыши.","type":"ordered-list-item","key":"65hlb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Выберите «Просмотреть код страницы».","type":"ordered-list-item","key":"5o4ak"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Используйте поиск по странице: Ctrl+F или Cmd+F.","type":"ordered-list-item","key":"8ajf2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Найдите robots.","type":"ordered-list-item","key":"262r4"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Также можно использовать SEO-сканеры: Screaming Frog, Netpeak Spider, Sitebulb и другие инструменты. Они позволяют массово проверить метатеги robots на всем сайте и быстро найти страницы с ошибочными директивами.","type":"unstyled","key":"br4vs"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Как правильно использовать метатег robots и не навредить своему сайту","type":"header-two","key":"954uq"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Метатег robots — точный инструмент управления индексацией. Его нужно использовать аккуратно, потому что одна неверная директива может убрать из поиска важные страницы.","type":"unstyled","key":"5a214"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Где должен находиться метатег","type":"header-three","key":"6jbc"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Корректный и безопасный вариант — размещать метатег robots внутри блока HTML-документа.","type":"unstyled","key":"a6ctf"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Пример:","type":"unstyled","key":"elli9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"unstyled","key":"6kagb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"unstyled","key":"7bvhb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"unstyled","key":"4gbif"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Не стоит добавлять его случайно в тело страницы или через нестабильные скрипты. Даже если отдельные поисковые системы могут обработать директиву в нетипичном месте, для SEO безопаснее использовать стандартное размещение в .","type":"unstyled","key":"62gtc"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Что будет, если поставить noindex на важной странице","type":"header-three","key":"cvge3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Если на важной странице случайно установлен noindex, она может быть исключена из индекса.","type":"unstyled","key":"ek5a"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Это критично для:","type":"unstyled","key":"afkvt"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"главной страницы;","type":"unordered-list-item","key":"6re37"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"категорий каталога;","type":"unordered-list-item","key":"ask02"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"карточек товаров;","type":"unordered-list-item","key":"9fjju"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"страниц услуг;","type":"unordered-list-item","key":"1fofa"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"посадочных страниц;","type":"unordered-list-item","key":"ad0eb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"статей, которые привлекают органический трафик.","type":"unordered-list-item","key":"9cd07"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Например, если на страницу категории интернет-магазина случайно добавить:","type":"unstyled","key":"3i6ir"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"unstyled","key":"93t5r"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"поисковая система может перестать показывать эту категорию в выдаче. В результате сайт потеряет часть органического трафика и заявок.","type":"unstyled","key":"81os2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Поэтому после любых технических доработок сайта важно проверять:","type":"unstyled","key":"2vo0n"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"главную страницу;","type":"unordered-list-item","key":"3j8ij"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"основные категории;","type":"unordered-list-item","key":"bmum1"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"коммерческие страницы;","type":"unordered-list-item","key":"57u1c"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"страницы с высоким трафиком;","type":"unordered-list-item","key":"4g7cp"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"шаблоны карточек товаров;","type":"unordered-list-item","key":"oeu5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"шаблоны статей.","type":"unordered-list-item","key":"f18fl"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Можно ли закрыть страницу от индексации через robots.txt","type":"header-three","key":"cl34a"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Использовать robots.txt как основной способ запрета индексации страницы — ошибка.","type":"unstyled","key":"6vkjo"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"robots.txt запрещает или разрешает обход URL, но не является надежным способом удалить страницу из поиска.","type":"unstyled","key":"3rll3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Например:","type":"unstyled","key":"dkeg9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"User-agent: *","type":"unstyled","key":"dnr91"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Disallow: /private-page/","type":"unstyled","key":"eq1dj"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Такой запрет не дает роботу зайти на страницу. Но если страница уже была известна поисковой системе или на нее ведут внешние ссылки, URL может продолжать отображаться в результатах поиска без содержимого.","type":"unstyled","key":"pigm"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Google указывает: чтобы страница не появлялась в результатах поиска, нужно использовать noindex, защитить страницу авторизацией или удалить ее полностью. Блокировка через robots.txt не является надежным способом убрать URL из выдачи.","type":"unstyled","key":"812a1"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Правильный вариант для HTML-страницы: ","type":"unstyled","key":"5n1a1"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Но при этом страница должна быть доступна для обхода. Если она одновременно закрыта в robots.txt, поисковик может не увидеть директиву noindex.","type":"unstyled","key":"7np04"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Как настроить X-Robots-Tag","type":"header-two","key":"4nkqf"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"X-Robots-Tag — это HTTP-заголовок, который передается сервером вместе с ответом на запрос.","type":"unstyled","key":"bjb3e"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Он работает не в HTML-коде страницы, а на уровне серверного ответа.","type":"unstyled","key":"4u68h"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Пример HTTP-заголовка:","type":"unstyled","key":"b2s66"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"X-Robots-Tag: noindex, nofollow","type":"unstyled","key":"bmg5v"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"X-Robots-Tag используют, когда нужно управлять индексацией:","type":"unstyled","key":"2tn22"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"PDF-файлов;","type":"unordered-list-item","key":"7k7bs"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"изображений;","type":"unordered-list-item","key":"dmeo0"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"видео;","type":"unordered-list-item","key":"1nut9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"документов;","type":"unordered-list-item","key":"5sshb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"архивов;","type":"unordered-list-item","key":"65v8o"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"динамически отдаваемых файлов;","type":"unordered-list-item","key":"d87bn"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"большого количества страниц или файлов по шаблону.","type":"unordered-list-item","key":"8696k"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Главное преимущество X-Robots-Tag — возможность массово управлять индексацией ресурсов, в которые нельзя добавить HTML-метатег.","type":"unstyled","key":"d2nb0"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Например, в PDF-документ нельзя вставить обычный , поэтому для него используется HTTP-заголовок. Google поддерживает X-Robots-Tag и приводит его как способ управлять индексацией через HTTP-ответ.","type":"unstyled","key":"1rfht"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Как запретить индексацию всех PDF на сайте","type":"header-three","key":"cuvav"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Если PDF-документы не должны появляться в поиске, можно настроить X-Robots-Tag на сервере.","type":"unstyled","key":"2pdjs"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Задача для разработчика может звучать так:","type":"unstyled","key":"4e9e1"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Закрыть от индексации все PDF-файлы с помощью HTTP-заголовка X-Robots-Tag: noindex, чтобы они не отображались в поисковых системах.","type":"unstyled","key":"6d4fp"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Пример для Apache:","type":"unstyled","key":"329kn"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"unstyled","key":"7uaet"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Header set X-Robots-Tag \"noindex, nofollow\"","type":"unstyled","key":"5hrbq"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"unstyled","key":"44r8k"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Пример для Nginx:","type":"unstyled","key":"1te66"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"location ~* \\.pdf$ {","type":"unstyled","key":"cnvde"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"add_header X-Robots-Tag \"noindex, nofollow\";","type":"unstyled","key":"folma"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"}","type":"unstyled","key":"fhtno"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"После настройки необходимо проверить, что заголовок действительно отдается сервером.","type":"unstyled","key":"cd9au"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Это можно сделать через:","type":"unstyled","key":"emi8"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"DevTools в браузере;","type":"unordered-list-item","key":"frld9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"curl;","type":"unordered-list-item","key":"e062t"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Screaming Frog;","type":"unordered-list-item","key":"eb1nd"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Netpeak Spider;","type":"unordered-list-item","key":"8k4gl"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"онлайн-сервисы проверки HTTP-заголовков.","type":"unordered-list-item","key":"cbu1g"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Пример проверки через curl:","type":"unstyled","key":"aivrr"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"curl -I https://site.ru/file.pdf","type":"unstyled","key":"3f0po"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В ответе должен присутствовать заголовок:","type":"unstyled","key":"a795s"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"X-Robots-Tag: noindex, nofollow","type":"unstyled","key":"cpr1s"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Когда использовать X-Robots-Tag, а когда meta robots","type":"header-three","key":"8obag"},{"data":{"image":{"id":"6ab0e72f4d83a5039840095e"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"atomic:image","key":"br5fo"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Если речь идет об обычной HTML-странице, чаще всего удобнее использовать meta robots.","type":"unstyled","key":"7t7rq"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Если нужно закрыть файлы, документы, изображения или настроить правило массово, лучше использовать X-Robots-Tag.","type":"unstyled","key":"1ejd4"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Какие ошибки могут быть при настройке индексации","type":"header-two","key":"ci6r2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Настройка meta robots и X-Robots-Tag кажется простой, но ошибки могут стоить сайту трафика.\nНиже — самые частые проблемы, которые мы встречаем при SEO-аудитах.","type":"unstyled","key":"d9nta"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Запрет в robots.txt вместо noindex","type":"header-three","key":"duts3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Частая ошибка — пытаться закрыть страницу от индексации через robots.txt.","type":"unstyled","key":"f4h45"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Неправильный вариант:","type":"unstyled","key":"4nklr"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"User-agent: *","type":"unstyled","key":"11p3r"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Disallow: /private-page/","type":"unstyled","key":"ri1f"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Если нужно убрать страницу из поиска, лучше использовать:","type":"unstyled","key":"26ijm"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"unstyled","key":"fr76n"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Но страница должна быть доступна для обхода, чтобы поисковик смог увидеть директиву.","type":"unstyled","key":"71tal"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Если страница уже закрыта в robots.txt, а на ней стоит noindex, поисковая система может не прочитать этот запрет. Google и Яндекс указывают, что при запрете обхода поисковый робот может не увидеть директивы на странице или в заголовке.","type":"unstyled","key":"cglp"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Использование noindex, nofollow на важных страницах","type":"header-three","key":"fju5l"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Иногда noindex или noindex, nofollow случайно попадает в шаблон важных страниц.","type":"unstyled","key":"fj14a"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Например:","type":"unstyled","key":"8raqc"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"категорий каталога;","type":"unordered-list-item","key":"6e62l"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"карточек товаров;","type":"unordered-list-item","key":"2ha17"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"страниц услуг;","type":"unordered-list-item","key":"aikfr"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"региональных посадочных страниц;","type":"unordered-list-item","key":"36mg9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"статей блога.","type":"unordered-list-item","key":"7f0d7"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Это может произойти после:","type":"unstyled","key":"9p0a6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"переноса сайта;","type":"unordered-list-item","key":"2ccur"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"разработки нового шаблона;","type":"unordered-list-item","key":"9nhnc"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"закрытия тестовой версии;","type":"unordered-list-item","key":"drop0"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"неправильной настройки CMS;","type":"unordered-list-item","key":"a9krm"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"массовой правки метатегов.","type":"unordered-list-item","key":"8pfda"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Чтобы избежать проблемы, нужно регулярно проверять сайт в SEO-сканерах и отчетах индексации.","type":"unstyled","key":"1fbci"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"В Google Search Console такие ошибки можно отслеживать в отчете по индексированию страниц. Google также указывает, что для блокировки страницы в результатах поиска нужно использовать noindex, а не правило robots.txt.","type":"unstyled","key":"8aes6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Случайный noindex после разработки","type":"header-three","key":"plkt"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Одна из самых опасных ошибок — перенос запрета индексации с тестового сайта на рабочий.","type":"unstyled","key":"6a15h"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"На тестовом домене часто устанавливают: ","type":"unstyled","key":"39eij"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Это нормально для dev-версии, но перед запуском сайта директиву нужно убрать.","type":"unstyled","key":"5avu"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Если забыть это сделать, новый сайт может не попасть в индекс или потерять уже существующие позиции.","type":"unstyled","key":"45gb9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Перед релизом обязательно проверяйте:","type":"unstyled","key":"4bjk1"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"главную страницу;","type":"unordered-list-item","key":"f9qq6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"основные шаблоны;","type":"unordered-list-item","key":"6lcu6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"robots.txt;","type":"unordered-list-item","key":"7k9sj"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"HTTP-заголовки;","type":"unordered-list-item","key":"dr465"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"canonical;","type":"unordered-list-item","key":"v3hd"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"sitemap.xml;","type":"unordered-list-item","key":"8kcn3"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"доступность страниц для роботов.","type":"unordered-list-item","key":"8gm1r"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Noindex на странице, закрытой в robots.txt","type":"header-three","key":"2daro"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Если страница закрыта в robots.txt, поисковый робот не сможет зайти на нее и прочитать noindex. В результате запрет может не сработать так, как ожидается.","type":"unstyled","key":"d7ks9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Правильная логика такая:","type":"unstyled","key":"cba4j"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Если нужно убрать HTML-страницу из индекса — откройте ее для обхода и добавьте noindex.","type":"ordered-list-item","key":"9pub2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Дождитесь переобхода страницы.","type":"ordered-list-item","key":"anqga"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Проверьте статус в Google Search Console или Яндекс Вебмастере.","type":"ordered-list-item","key":"f1bbe"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"После удаления из индекса при необходимости можно закрывать страницу от обхода.","type":"ordered-list-item","key":"evo9d"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Для срочного удаления страницы из Google можно использовать инструмент удаления контента в Google Search Console. Google указывает, что Removals tool позволяет временно убрать страницу из результатов поиска быстрее, но для долгосрочного результата нужно устранить причину появления URL в поиске.","type":"unstyled","key":"c5r2o"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Отсутствие проверки X-Robots-Tag","type":"header-three","key":"8u0fv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Иногда X-Robots-Tag вроде бы настроен, но фактически не отдается сервером.","type":"unstyled","key":"5ch33"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Причины могут быть разные:","type":"unstyled","key":"9p1no"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"правило добавлено не в тот конфигурационный файл;","type":"unordered-list-item","key":"brf9e"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"сервер не применил изменения;","type":"unordered-list-item","key":"6j3as"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"заголовок работает только для части файлов;","type":"unordered-list-item","key":"571ir"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"CDN перезаписывает заголовки;","type":"unordered-list-item","key":"3ofrl"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"разные версии сайта отдают разные HTTP-ответы.","type":"unordered-list-item","key":"fkj2i"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Чтобы избежать ошибки, нужно проверять заголовки после настройки. Проверять следует не только один файл, а несколько URL из разных разделов сайта.","type":"unstyled","key":"co3hv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Конфликт директив","type":"header-three","key":"fq9ib"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"На странице могут одновременно присутствовать разные сигналы:","type":"unstyled","key":"77eau"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"meta robots;","type":"unordered-list-item","key":"bk34f"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"X-Robots-Tag;","type":"unordered-list-item","key":"30vj2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"canonical;","type":"unordered-list-item","key":"3r6h0"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"robots.txt;","type":"unordered-list-item","key":"a7dko"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"редиректы;","type":"unordered-list-item","key":"2fdf7"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"sitemap.xml.","type":"unordered-list-item","key":"4r9rs"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Если сигналы противоречат друг другу, поисковым системам сложнее корректно обработать страницу.","type":"unstyled","key":"fogd6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Например:","type":"unstyled","key":"3otte"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"страница закрыта в robots.txt, но указана в sitemap.xml;","type":"unordered-list-item","key":"bokoj"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"на странице стоит noindex, но она продвигается внутренними ссылками;","type":"unordered-list-item","key":"7r9o2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"canonical указывает на URL, который закрыт от индексации;","type":"unordered-list-item","key":"2prn1"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"страница отдает X-Robots-Tag noindex, хотя должна быть в поиске.","type":"unordered-list-item","key":"bqtps"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Поэтому управление индексацией нужно проверять комплексно, а не по одному параметру.","type":"unstyled","key":"152sh"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Резюмируем","type":"header-two","key":"abro"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Правильная настройка индексации — важная часть технического SEO.\nMeta robots и X-Robots-Tag помогают управлять тем, какие страницы и файлы должны появляться в поиске, а какие нужно исключить.","type":"unstyled","key":"999bl"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Главные правила:","type":"unstyled","key":"biir"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"meta robots используем для HTML-страниц;","type":"unordered-list-item","key":"7tnre"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"X-Robots-Tag применяем для файлов, документов, изображений, видео и массовых правил на сервере;","type":"unordered-list-item","key":"b3um4"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"не используем robots.txt как основной способ удаления страниц из поиска;","type":"unordered-list-item","key":"6ov00"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"не закрываем страницу в robots.txt, если хотим, чтобы поисковик прочитал noindex;","type":"unordered-list-item","key":"83a5g"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"проверяем важные страницы после релиза и технических доработок;","type":"unordered-list-item","key":"dmf6o"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"контролируем индексацию в Google Search Console и Яндекс Вебмастере;","type":"unordered-list-item","key":"58h2h"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"регулярно сканируем сайт SEO-инструментами;","type":"unordered-list-item","key":"2t8nq"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"следим, чтобы директивы не конфликтовали между собой.","type":"unordered-list-item","key":"cl4cn"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Правильно настроенная индексация помогает сохранить важные страницы в поиске, убрать лишние технические URL и снизить риски потери органического трафика.","type":"unstyled","key":"b2da9"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Для SEO-продвижения это особенно важно: поисковые системы должны видеть именно те страницы, которые приносят пользу пользователям и бизнесу.","type":"unstyled","key":"bn6eb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"unstyled","key":"f3ova"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"marker","key":"pJ1UPRmWZLYSRccT7uCj"}],"entityMap":{}},"mentions":[]}