Представляем обзор сервиса Screaming Frog Seo Spider, который решает большинство базовых задач для проведения технического и seo аудитов сайта.
Начнём.
Цена
Seo Spider условно бесплатная. Это значит, что просканировать сайт, содержащий до 500 url можно бесплатно. Но стоит иметь в виду, что в 500 ссылок входит не только html страницы, но и картинки, скрипты, документы и т.д. Также в базовом варианте невозможно использовать некоторые аналитические возможности.
Стоимость полной версии обойдётся в 149 фунтов, что на момент публикации статьи составляет более 14 тыс. руб.
Установка
Скачать “Кричащую лягушку” нужно с официального сайта screamingfrog.co.uk и установить как обычно. При этом не рекомендуем использовать различные торренты с крякнутой версией. Получив лицензионный ключ (key), который вводим в Licence, начинаем работу.
Стоит также отметить, что программа полностью на английском и русификатора к ней нет. Каждый рассматриваемый ниже пункт можно выгружать в Excel для дальнейшей работы.
Начало работы, подготовка к анализу сайта
На примере нашего бывшего агентского сайта seo-bility.ru проведём диагностику. Запускаем Seo Frog. Определяемся с тем, что будем сканировать.
Если нам нужны все страницы сайта полностью, в поле с мерцающим курсором вводим домен и нажимаем Start (она автоматически сменяется кнопкой Stop после запуска). Ползунок Crawl покажет процент готовности анализа.
Если нам нужны страницы выборочно, запускаем Frog Seo Tool так: Mode -> List. Далее жмём Upload -> Paste -> Ok. Стартуем.
Можем не копировать урлы руками, а сразу загрузить файл по кнопке Mode -> List -> Upload -> From a file -> Ok.
С помощью регулярных выражений в поле Configuration -> Excludes можно отсечь лишнее (например, поддомены или картинки) или задать нужное (допустим, только товары).
Если сайт в разработке и закрыт в файле robots или лежит на локалке, можем его игнорировать: Configuration -> Robots.txt -> Settings -> Ignore robots.txt -> Ok. Если сайт запрашивает пароль, лягушка не даст запустить парсер пока он не будет введён.
Более тонкие настройки делаем в Configuration -> Spider -> Basic (чекаем то, что нужно и не нужно).
Скоростью парсинга управляем из места Configuration -> Speed, где Max threads — количество потоков, при которых создаётся нагрузка на сайт. По умолчанию — 5, меньше — при нестабильном сайте.
Если нам необходимо просканировать сайт, содержащий множество элементов, необходимо проверить, что отмечен чекбокс Pause On High Memory Usage в меню Configuration -> Spider -> вкладка Advanced. По умолчанию он всегда выбран.
Сортировка элементов сайта
В правой части Seo Frog Spider в меню Seo elements -> Internal (или просто Internal в горизонтальной строке -> Filter -> All) видим все элементы, которые нашла или нет лягушка. Выбираем нужные для анализа.
Исходящие ссылки
Исходящие ссылки со страниц сайта смотрим во вкладке External. Здесь главное — понять, на какой странице нашего сайта она размещена. Для этого выделяем интересную нам ссылку, переходим вниз окна, жмём Inlinks и видим откуда проставлена та или иная выделенная ссылка.
Структура сайта
Структуру сайта (своего или конкурента на этапе разработки) в Screaming Frog Seo можно посмотреть так: Internal -> Select Type of table view.
Страницы с разными протоколами http и https
Во вкладке Protocol Screaming Frog Seo Tool покажет сколько страниц имеют тот или иной сертификат и корректность настройки редиректа. Например, наш сайт работает с https и обнаружена одна ссылка с http. Вкладка Инлинкс внизу пустая, это значит, что ссылок на неё нет, а обнаружил её паук только потому, что мы задали сканирование без протокола (по умолчанию он проверяет сайт по http соединению).
Коды ответа сервера
Коды ответа смотрим так: Response codes, выбирая внутри фильтра нужный ответ.
Работа с url’ами
Анализ урлов проводим в блоке Url. Здесь нам интересны показатели Duplicate, Parameters и Over 115 characters (дубли урлов, адреса с параметрами и длинные url). Также используется параметр поиска урлов с несоответствующими знаками — нижнее подчёркивание и кириллица.
Анализ title
Title смотрим в аналогичном блоке Page Titles. Самые ценные показатели здесь Missing (отсутствуют), Duplicate (дубли), Same as H1 (идентичные тегу Н1) и Multiple (несколько тегов на странице). Если делаем более кропотливую работу, то стоит проверить на ограничения в пикселях и количества знаков для корректного вывода тега в сниппетах. Ограничения мы можем выставить в настройках (Конфиг -> Spider -> Preferences).
Проверка тегов description
Анализ тегов description аналогичен проверке тайтлов: Missing (отсутствуют), Duplicate (дубли) и Multiple (несколько тегов на странице). Это — три обязательных пункта, которые стоит проверить и устранить при необходимости, остальные — по желанию.
Оптимизация изображений сайта
Картинки на сайте стоит исследовать в первую очередь, т.к. от их оптимизации может зависеть и нагрузка на сайт в том числе.
Обязательно смотрим вес изображений (Over 100 kb) и отсутствующие альты (missing alt text).
Meta Keywords
Мета кейворды рекомендуем смотреть в поле Missing (отсутствуют), все остальные параметры исследуем по желанию.
Теги Н1-Н2
Существенная недоработка программы Скриминг Фрог — отсутствие проверки сайта на теги Н3-Н6. Но за неимением, проанализируем то, что есть. В блоках Н1 и Н2 нам принципиально важны параметры Missing, Duplicate и Multiple. Это три кита грамотной оптимизации этих тегов. Не лишним будет проинспектировать длину Н1.
Канонические страницы и теги next/prev
В блоке “Canonicals” нам важно найти страницы, где они есть и где их нет. Это пункты Canonicalised и Missing. Для тегов next и prev указываются первые и последующие страницы (блок Pagination).
Meta robots
Html тег meta=”robots” исследуем в директивах (Directives), здесь смотрим как водится Noindex, Nofollow и NoArchive, этого достаточно.
Генерация sitemap.xml и карты картинок
В горизонтальном меню, при наведении на пункт Sitemap видим тип карты, которую нам будет необходимо залить на сайт.
В случае, если нужна html версия, выбираем XML вариант и снимаем галочки в табах Last Modified и Change Frequency. Далее жмём Next, сохраняем.
Если нужна карта с картинками: выбираем Images, снимаем “птички” в пунктах Last Modified, Change Frequency и Priority и при необходимости делаем свои настройки в табе Image. Если настроить именно так, то карта полностью соответствует требованиям Google и при прочтении в вебмастерах не даёт ошибок.
Парсим сайт как бот поисковик
По умолчанию парсер представляется как Screaming Frog Seo Spider, но если возникает необходимость просканировать сайт как краулер поиска, то меняем имя в настройках: Configuration -> User Agent -> Preset User Agents.
Поиск соответствий на сайте
Бывают ситуации, когда есть необходимость найти соответствия на сайте. Например, поиск мест для замены или удаления информации (адреса, номера тлф, e-mail или микроразметка). Такая фича находится тут: Configuration -> Custom -> Search. В открывшемся окне выбираем Contains (содержит), в пустое поле вводим искомую маску.
Если выбрать Does not Contain, то можно найти страницы, которые не содержат искомые данные. Например, при установке кода счётчика.
Каждый маркер заполняем в поле один раз. При необходимости обработать большой объём данных можем воспользоваться регулярным выражением.
495|моск|gmail
Данные по каждому маркеру можно найти в табе Custom -> Filter.
Поиск медленных страниц на сайте
Найти медленно загружающиеся страницы можно таким образом: Response Codes -> столбец Response Time. Нажимаем на столбец и сортируем данные от большего к меньшему или наоборот.
Внутренняя перелинковка
Количество внутренних ссылок (внутреннюю перелинковку) проверяем в табе Internal -> столбец Inlinks. Сортируем.
Через Configuration -> Custom -> Search можем вводить анкоры, распарсить страницы с вхождением заданных словоформ и перелинковать их.
Интеграция по Api
Чтобы привязать данные из систем аналитики (мы рассматриваем на примере Google Analytics), делаем следующее:
Вводим имя сайта, выбираем Configuration -> Api Access -> Google Analytics.
В появившемся окне во вкладке User Account отмечаем или вводим вручную почту на gmail, верифицируем. Чекаем нужные для анализа параметры.
Во вкладке Data Range — период с данными.
Во вкладке Metrics — до 30 данных для анализа.
Нажимаем на старт. Выгружаются данные из Аналитикса в Screaming Frog Seo Spider достаточно быстро.
На вкладке Analytics появляются все данные для анализа.
Авторский материал агентства Sphinx IT специально для канала Дзен.
