Screaming Frog SEO Spider
В данной статье рассмотрим, как работать с основным инструментом, которые используют для технического SEO-аудита сайта во многих организациях — Screaming Frog SEO Spider. Это очень удобная программа для анализа ошибок сайта. Можно использовать как при продвижении своих или сторонних проектов, так и при оценке проектов, которые хотите купить.
Как работать
Итак, запускаем данную программу. Настройки все можно оставлять по умолчанию. Вставляем адрес сайта в адресную строку, жмем «Start».
Сервис начал обходить этот сайт. Что бросается в глаза? Во-первых, видно, что у него огромное количество картинок. Во-вторых, может быть подозрительным, что он ссылается на большое количество сайтов (смотреть можно во вкладке External, где показывают внешние ссылки). Но после проверки оказывается, что там в основном YouTube — что не критично, на него вполне можно ссылаться без особых проблем. Хотя если ссылок слишком много — например, в данном случае, на 300 страниц 55 ссылок — то, в принципе, при таком объеме рекомендовалось бы эти ссылки как-то закрывать от индексации.
И вот проверка сайта закончена, сервис показывает 100% завершения, теперь идем смотреть.
На что стоит обращать внимание?
Довольно много данных, и если смотреть все, то можно немного запутаться в них.
Столбец Intemal
JavaScript и картинки — почти никогда нет интересной информации.
HTML — стоит смотреть. По сути это просто сколько у него html-страниц (то есть обычных). В данном случае их 332. Это стоит запомнить, информация понадобится дальше.
Столбец External
Внешние ссылки. В данном случае в итоге получилось на 300 страниц 80 ссылок, все с YouTube, так что, как говорилось выше, не проблема, но лучше все же закрыть. Видно, что это редирект.(301), проставлены довольно давно, видимо на http-версию сайта (без сертификата) — YouTube уже давно с https. Это не криминал. Когда вы ставите новые ссылки, желательно их сразу ставить на правильную версию. Но проблемой это здесь не является.
Далее в столбце Response Codes строка Client error может быть интересна, но не у этого сайта. Response Codes – это те коды, ответы сервера, которые выдают ответы сайта, и если здесь большое количество ошибок (400-ых, 300-ых и т.д.), то это может стать проблемой. 400-ая ошибка – это значит, что ваш сайт ссылается в данном случае на картинки и один документ, а его там нет. Это так называемая «битая» ссылка. Небольшое количество битых ссылок проблемой не является, но лучше их исправлять. Если их большое количество, скажем, было бы 100 штук на 300 страниц, то это нужно было бы оперативно решать. Битые ссылки – это один из показателей качества сайта и это то, что ухудшает пользовательский опыт, т.ек. когда пользователь ходит по сайту и видит битые ссылки, он расстраивается. Это ухудшает позиции вашего сайта.
Далее мы видим кирилические символы и русские буквы в адресах картинок . Сейчас это продвижению не мешают, но принято называть картинки по-английски, т.к. в ряде версий старых браузеров были проблемы с отображением кириллических картинок. Все же лучше это все называть английскими буквами и с дефисами между словами.
Идем дальше. Переходим к полям, в которых обычно бывает большое количество грубых ошибок, бывают дубли тайтлов, бывают страницы без тайтлов (редко). Длина тайтлов – можно смотреть, единственное, в настройках программы можно выставлять, чтобы эти лимиты были несколько больше. Больше 65 - небольшая проблема, меньше 30 – это повод посмотреть в эту сторону, а нет ли там просто одного слова малозначимого.
Далее не криминальная проблема, но ее лучше исправлять – это совпадение тайтла (заголовок окна браузера) с H1 (заголовок страницы). Тайтл должен быть немного дополненным и измененным.
Далее description, они часто вообще отсутствуют. И часто бывают дубли description. Description – это описание страницы, которое не отображается пользователю на самой странице, но его видно в сниппете поисковых систем. Раньше это использовал Гугл, сейчас использует еще и Яндекс. Description подставляется в описание страницы на выдаче. И когда вы заходите в поиск по нужному вам запросу, вы видите, что у вас там либо красивое описание, либо там подставляется кусок из текста (часто рваный). Поэтому лучше сделать красивый оптимизированный, можно со спецсимволами description, чтобы он был более кликабельным. Это один из сильных поведенческих факторов – поведение пользователя на выдаче. Это будет повышать ваши позиции.
Бывает слишком длинный description, он должен подстраиваться под поисковые системы. Key words – мало значимый на данный момент метатег, практически незначимый. Но он может использоваться для определения уникальности этой страницы, насколько она несет самостоятельный смысл. Это часто полезно – заполнять Key words – когда вы работаете с неуникальным контентом
допустим, у вас проект-новостник, где вы агрегируете новости других источников. Чтобы вам снизить вероятную проблему из за неуникальности, вам нужно уникализировать все, что можно, в том числе Key words.
Второй момент – если у вас интернет-магазин, часто выгрузка идет с сайта поставщика, там тысячи позиций, и у этих позиций часто почти нет отличий, и тогда тоже желательно заполнять Key words, чтобы добавить уникальности этой карточке, чтобы поисковик ее не выкинул.
Несколько дублей Key words бывают, и это может быть проблемой. Несколько Key words не бывает, туда можно даже не смотреть никогда.
Заголовки H1 – очень важный тег для продвижения. Отсутствующие h1, длинные h1 и дубли h1 – это проблемы. Множественный h1 на одной странице – это проблема. Если по этим показателям не 0, вы идете туда и эти ошибки исправляете. Остальное уже не так интересно и туда можно не смотреть.
Таким образом этот сервис позволяет выявить и исправить технические ошибки, и в некотором смысле подстраховаться от санкций поисковых систем либо от проблем с ранжированием или индексированием.
Пару слов о настройках. Нажимаем в верхней панели меню Configuration/Spider. В выпадающем окне вы можете выбрать, что индексировать. Например, часто для огромных сайтов вы можете убирать индексацию картинок и дополнительного контента – css, скриптов и т.д., чтобы вам быстрее шел сбор. Здесь можно поставить лимиты, поставить принцип обработки яваскрипта. Во вкладке Advanced стоит пауза при высоком использовании памяти, это можно обходить установкой последней версии явы и изменением в настройках программы объема оперативной памяти, которую программа использует. В целом, если вы работаете со Screaming Frog часто, то неплохо увеличивать объем оперативной памяти на компьютере хотя бы до 16 Гбайт, чтобы большие сайты парсились нормально и он вам ошибку не выдавал.
Дальше самая интересная вкладка Preferences. Здесь вы можете поменять длину тегов и мета тегов, которые он вам будет указывать в блоке «превышает столько то», «не достает столько-то» и т.д. Т.е. вы можете подстроить все эти длины под себя, чтобы он ругался только на диапазоны, которые вам нужны.
Дальше вы можете игнорить/не игнорить Robots. Например, вы часто сомневаетесь, что Robots сделал корректно, или вы хотите проверить весь сайт в независимости от Robots. Тогда вы можете поставить «игнорировать», и сервис будет парсить весь сайт без него. Кликая Configuration/URL Rewriting в выпадающем окне вы можете убрать URLs, с которыми вы не хотите индексироваться.
Вкладка Configuration/Include – здесь вы можете добавить какие маски вы хотите дополнительно проверить. Эту функцию использовал Андрей Буйлов для проверки сайта, у которого было порядка 50 регионов, и они были в подпапках. И там были практически дубли контента сайта, 50 раз повторялась эта история и на сайте были проблемы. Нужно было проверить конкретные адреса и тогда было 2 варианта: либо сюда вбить маску того города, который нужно было проверить, или сюда добавить список всех остальных городов, кроме того, что надо было проверить. Оба способа работают, он выбрал второй.
Configuration/Exclude – можно добавить, какие адреса вы не хотите проверять.
Configuration/Speed (скорость) – очень полезная штука. Это количество потоков и лимит по максимальному количеству загруженных адресов в секунду. Когда это может быть нужно? Часто на сайте стоит защита от dedos (15:31 мин) , от атак, связанных с перегрузкой сервера , и они просто начинают отфen,jkbdfnm все дополнительные запросы. И тогда он выдает вам 500-ые ошибки, не дает ничего посмотреть на сайте. И тогда вы заходите сюда и ставите максимальное количество потоков – 1, лимит по количеству урлов поменьше (2.0) и все, вы запускаете. Он будет проверять значительно дольше, но зато проверит сайт и будет имитировать пользователя по скорости. Можете менять user-агента, язык. Proxi – была бы удобная штука, если бы можно было загружать сюда списки proxi. Так как это нельзя сделать, прокси не нужны. Это все можно абсолютно нормально собирать напрямую.
Api Access – сюда можно ввести данные сервиса и из них выгружать данные.
Это все по настройкам.
Следующее – это режимы, довольно интересная штука. Можно спайдером проходить по сайту (Mode/Spider), как это было показано выше. А можно загрузить список Mode/List. Далее кликаем Upload/From a file. Можно собирать данные по выдаче Гугла.
Это все по настройкам Screaming Frog. Если остались вопросы, пишите их в комментариях.
Более подробно в других статьях, которые есть на нашем сайте