Что делать, когда на сайте появляется много несуществующих страниц

На сайте появляются несуществующие страницы: что делать?

В статье поговорим о ситуации, когда на вашем сайте появляется много несуществующих страниц. Подписчик спрашивает: «Недавно в Яндекс.Вебмастере по всем поддоменам стали появляться странные адреса страниц со статусом ошибка 404. Например — сайт/category/ Вставьте_ссылку_сюда/ или сайт/category/<div class=/. Много вариантов. Предполагаю, что это действия какого-то бота. Робот Яндекса их загрузил и исключил. Влияет ли их появление на качество сайта, несут ли они какую-то опасность для сайта, что можно предпринять?»

Почему такие страницы возникают и какие проблемы от них могут быть

То, что такие страницы выдают ошибку 404 — это хорошо, потому что вы здесь не путаете поисковую систему, и обычно на ранжирование это не влияет негативно. Но, во-первых, часто не все такие страницы выдают 404, и стоит поиграться с разными вариантами, поменять параметры, например добавить «? ID» и т.д. То есть попробовать разные варианты, которые могли бы добавить злоумышленники или что могло бы нечаянно добавиться и что будет проверено поисковиком и отдавать не 404, а «200 — ок» — то есть, что такая страница есть. А это уже может нести более серьезные проблемы.

Даже когда эти страницы выдают 404, то у каждой поисковой системы есть лимит на количество страниц вашего сайта, которые он будет обходить — так называемый краулинговый бюджет. И принято считать, что главное, чтобы в ваш краулинговый бюджет не забивались страницы с 200-ым ответом — несуществующие или дублирующие страницы, которые говорят, что всё ок. И да, это правда, это гораздо более серьезная проблема. Но если на вашем сайте большое количество 404 страниц, то это тоже проблема, потому что поисковые системы тратят ресурсы, чтобы сходить туда и проверить как минимум ответ этой страницы. И это может замедлять переиндексацию изменений на существующих страницах, выбрасывание пропадающих страниц и добавление новых — и это плохо.

Таким образом, лимит на обход новых страниц вашего сайта и на переобход будет тратиться на то, чтобы проверить, опять ли это 404 или наконец нормальная страница. Поэтому вам неплохо бы разобраться, а откуда у вас берутся такие ссылки. Судя по той ситуации, которая описана в вопросе, есть или был какой-то баг, который формировал ссылки вот с такими хвостами.

Поэтому стоит взять какой-нибудь инструмент — Screaming Frog или любой аналог — и пройтись по сайту и по доменам, и по поддоменам и посмотреть, нет ли ссылок на такие страницы. Скорее всего есть. Или они существуют, или были в одной из прошлых версий вашего движка.

Бывает еще, когда на вас ставят ссылки с других сайтов. В Ahrefs это можно проверить или взять любой другой анализатор, вдруг есть. Ну и здесь вы особо уже ничего не сделаете, можете добавить такие ссылки в Disavow Tool в Google, а под Яндекс вы скорее всего ничего не сможете сделать. И такие ссылки и останутся, главное, чтобы они так 404 и выдавали.

Но скорее всего у вас на сайте еще есть такие ссылки или недавно были, но важно, чтобы больше не было. Потому что, во-первых, эти страницы будут отвлекать ресурсы поисковой системы, которые лучше бы на что-то более важное в рамках вашего сайта шли. А во-вторых, если эти ссылки живые, то это так называемые «битые ссылки» и когда их много (сотни или тысячи), то для поисковой системы это признак не очень качественного сайта. Потому что помимо того, что робот может кликнуть по какой-то из них и попасть на несуществующую страницу, еще и живые пользователи могут туда кликать. И для поисковой системы это такой один из маркеров, что надо присмотреться к сайту, может зря дают ему поисковый трафик, ведь там на 10 тыс. страниц 2 тыс. битые.

Вот, пожалуй, все аспекты этих страниц, которые появляются. Поэтому проведите некоторый такой аудит, разбирательство и примите меры, если найдете ошибки и уязвимости.

Более подробно в других статьях, которые есть на нашем сайте