Метатег robots — для роботов!
Иногда Яндекс.Дзен отключает поисковую индексацию для отдельных публикаций канала или для всего канала в целом.
Проявляется это следующим образом. На странице канала (не путать с редактором) в исходном коде можно обнаружить строчку:
- <meta property="robots" content="none" />
А на статье такую:
- <meta name="robots" content="noindex" />
Эти теги служат для того, чтобы сказать поисковым система (роботам, которые занимаются сбором информации с сайтов), как поступать со страницами на сайте. Приведённые выше «команды» говорят поисковикам, что эти страницы не нужно включать в поисковую базу.
Считается, что если такое есть, то на канал наложены определённые ограничения.
Однако, официально техническая поддержка Дзена не подтверждает, что наличие этого мета-тега каким-то образом связано с ограничениями.
Точно можно говорить о том, что наличие этого мета-тега говорит о том, что поисковики не будут включать эту статью в результаты поиска. Т.е. читатели не будут находить эту статью с помощью Яндекса или Google.
Как определить исключена ли статья из поисковой индексации
Самый очевидный способ — просмотреть исходный код страницы и попытаться найти там соответствующий мета-тег.
Более простой способ — это моё расширение для браузера, которое выводит подсказку о том, что такой тег обнаружен на странице канала или на странице статьи.
После этого, читая в дзене разные публикации, я несколько раз наталкивался на этого «грустного робота» и думаю, приблизительно понимаю, что означает этот тег.
Начиная с версии 1.17.1 в расширении появилась возможность поиска таких публикаций.
По умолчанию поиск осуществляется среди последних 20 публикаций на канале, но можно искать и по всем публикациям.
Признак пессимизациии или совпдаение?
Я встречал этот тег на разных каналах, в разных публикациях, и могу выделить следующие:
- Новые каналы. Если канал только-только создан и на нём мало публикаций, то он сразу отмечен как неиндексируемый. Вероятно, он должен дождаться достижения какого-то рейтинга или прохождения ручной проверки, чтобы публикации стали попадать в поиск.
- Новые публикации. Сразу после того как статья опубликована она исключена из индексации. Но через некоторое время, вероятно, после проверки алгоритмом, он появляется. (Спасибо автору канала «С другого угла», который обратил на это внимание).
- На старой публикации сразу после редактирования. После того как стать отредактировано она вновь проходит проверку и её исключают из индексации.
- Статьи «только для подписчиков». Известно, что если статья будет отнесена к категории «только для взрослых», то она будет показываться только подписчикам. И, похоже, в этом случае она также исключается из индексации.
- Каналы, на которых отдельные страницы отмечены этим тегом. Мне удалось увидеть канал на котором была только одна публикация отмечена этим тегом. Через день статья была удалена. С автором канала я не знаком и не знаю, сам ли он удалил статью или она была удалена (допустим за нарушение авторских прав).
- Каналы исключенные из поиска. Несколько ссылок на каналы мне прислали, когда я попросил в чате в телеграме примеров, необходимых для выпуска обновления для расширения. Все эти каналы были пессимизированы.
- «Протухшие» статьи, т.е. статьи, у которых превышен срок, определённый категорией свежести. Т.е. если статье определён срок существования 2 дня, то по истечении этого срока индексация с неё снимается. Подробнее об этом — здесь.
Всякая селёдка — рыба, каждая пессимизация — исключение из поиска
Очень долго служба поддержки Дзена рекомендовала не обращать внимание на этот тег, говоря, что это ни на что не влияет.
В Дзене, определённо, есть критерии, исходя из которых определяется стоит ли показывать публикации «всему интернету» или нет. Какие это критерии — можно только гадать.
Но очевидно, что сам факт наличия мета-тега, уже является своеобразным ограничением, и для некоторых каналов очень важным (например, на этот канал приходит гораздо больше людей из поиска, чем из Дзена).
Ну и конечно, есть вероятность, что все мои размышления — это очередной миф.
P.S. Благодарю участников чата в телеграме, без которых не было бы ни соответствующего обновления расширения ни этой статьи.