Найти тему
WEB LAB

Зачем использовать директиву Clean Param в файле robots.txt

Оглавление

Clean Param (или дословно “чистый параметр”) - это директива, которая позволяет очистить параметры при вызове функции в языке программирования Dart. Эта директива позволяет избежать ошибок, связанных с неправильным использованием параметров функции, и сделать код более безопасным.

Для использования Clean Param, необходимо определить, какие параметры следует очистить перед передачей в функцию. Например, если функция принимает строку, то можно очистить ее от символов, которые не должны присутствовать в строке.

Использование Clean Param в файле robots.txt может помочь предотвратить доступ к определенным ресурсам на вашем сайте, например к дублированному контенту.

источник картинки gorodkirov.ru
источник картинки gorodkirov.ru

Как появляются дубли страниц с UTM метками?

Дублирование страниц с UTM-метками происходит по разным причинам, вот некоторые из них:

  1. Копирование и вставка кода UTM-меток на страницы сайта без изменения URL-адресов ссылок.
  2. Использование одинаковых UTM-меток для разных страниц сайта, что приводит к дублированию кода на страницах.
  3. Использование сторонних сервисов для создания UTM-меток, которые могут создавать дубликаты страниц.
  4. Неправильное использование JavaScript или других языков программирования для создания динамических UTM-меток.
  5. Неправильная настройка URL-реврайта (301 редиректов) на сервере, что может привести к созданию новых версий страниц с дублирующими UTM-метками.
  6. Использование CDN-серверов для хранения статических ресурсов, таких как изображения и скрипты, что может приводить к дублированию страниц с одинаковыми UTM-метками на разных серверах.
  7. Некорректное использование редиректов с помощью HTML-кода, что может создавать дубликаты страниц с разными UTM-метками, но одинаковыми URL-адресами.

Закрываем с помощью Clean Param дубли страниц

Дубли страниц с UTM-метками могут быть опасны для SEO, так как они могут привести к снижению рейтинга сайта в поисковых системах. Это происходит потому, что поисковые системы считают дублирование контента нарушением правил поисковой оптимизации (SEO) и могут понизить рейтинг сайта в результатах поиска.

Пример использования директивы Clean-Param в robots.txt

Clean-param: set_filter
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_type
Clean-param: arrFilter&sort&view&yadclid&back_url_admin&added&etext

*Вы можете указывать UTM метки по одной на строчку или массово закрыть такие страницы от индексации, перечислив UTM параметры через "&".

Также дублирование страниц с UTM-метками может привести к тому, что пользователи будут видеть несколько вариантов одной и той же страницы на разных сайтах, что может вызвать путаницу и снизить конверсию. Кроме того, дублирование может привести к проблемам с индексацией сайта в поисковых системах, так как каждая страница должна быть уникальной и иметь свой уникальный контент.

Поэтому важно следить за тем, чтобы все страницы сайта имели уникальные URL-адреса и содержали уникальный контент, а также использовать UTM-метки только для тех страниц, которые действительно нуждаются в отслеживании трафика.

Причины использовать Clean-Param

Сейчас рекомендация использовать Clean-Param есть только у поисковой системы Яндекс. Добавляя эту директиву в robots можно быстро избавиться от дублированного контента в индексе и улучшить ранжирование вашего сайта.

Clean-Param с точки зрения Яндекс
Clean-Param с точки зрения Яндекс

Стоит помнить что "чистить" индекс стоит постоянно, ведь "мусор" который увидят поисковые роботы может сказаться на вашем проекте очень плохо, а именно:

  • Во-первых, это может привести к потере трафика и ухудшению ранжирования в поиске. Дубликаты страниц могут снижать релевантность и качество контента на сайте, что негативно сказывается на его видимости в поисковых системах.
  • Во-вторых, дубли страниц могут вызывать проблемы с безопасностью. Если на сайте есть дубликаты страниц, то злоумышленники могут использовать их для атаки на сайт или получения доступа к конфиденциальной информации.
  • В-третьих, дубли страниц могут приводить к проблемам с SEO-оптимизацией. Если на сайте есть несколько версий одной и той же страницы с разными URL-адресами, то это может затруднить процесс анализа и оптимизации сайта для поисковых систем.
  • Наконец, дубли страниц могут привести к увеличению нагрузки на сервер и замедлению работы сайта. Если на сайте много дубликатов страниц, то это может привести к перегрузке сервера и увеличению времени загрузки страниц.