Перед запуском проекта многие вебмастера и SEO-специалисты заранее прогоняют сайт через различные сервисы, программы на выявление малоинформативных и недооптимизированных страниц.
В этом кратком обзоре на примере коммерческого сайта я решил сравнить скорость работы 2-х программ. Все настройки по умолчанию.
Цель теста: за короткое время идентифицировать страницы низкого качества, оценить возможности программного обеспечения WebSite Auditor и Screaming Frog Spider.
Парсинг через WebSite Auditor v4.44.6
Программное обеспечение SEO PowerSuite как и софт Screaming Frog устанавливается на компьютер где при подключении к интернету происходит первичный сбор и анализ данных проекта.
Если у вас сложности с английским то WebSite Auditor облегчает задачу, т.к. функционал доступен на 8-ми языках.
Инфографика: Благодаря усилиям белорусских Java-разработчиков компания LinkAssistant максимально заморочилась над визуальной составляющей продукта WebSite Auditor.
С Usability у них всё в порядке. В зависимости от лицензии программы доступны отчеты в формате .CSV (TXT).
Так при первичном анализе появится визуальная картина распределения весов PageRank.
Скорость: К сожалению для проведения поверхностного анализа сайта уходит много времени на парсинг.
В общей сложности на скан всех URL-адресов с учетом страниц пагинации могло уйти свыше 14 часов.
Парсинг через Screaming Frog Spider v12.4
Скорость: менее чем за 1 минуту с настройками по Default мы получаем 45 HTML-страниц с кодом ответа 200 Ок.
Инфографика: В поледних версиях Screaming Frog британские программисты смогли удивить визуализацией структуры сайта.
Такие данные актуальны когда необходимо в короткие сроки позаимствовать структуру конкурента с большим ядром.
В бесплатной версии сайта доступно сканирование до 500 URL страниц. Платная версия стоит 99 фунтов.
Снижение нагрузки и увеличение скорости сбора
Проблему с ожиданием можно решить уменьшением таймаута в запросах, подключением прокси-сервера, сервисов по разпосзнаванию CAPTCHA.
Чтобы не плодить дубли и не раздувать сайт до гиганских размеров логично будет скрыть бесполезные адреса при помощи Robots.txt или добавлением атрибута rel="canonical".
Так к примеру если добавить директиву Disallow: /*?* в файл robots.txt мы сразу отрежем часть бесполезных страниц и сэкономим время в WebSite Auditor.
Теперь парсинг в WebSite Auditor составил 2 минуты вместо 14 часов. Какие данные мы получили вы можете узнать из этого короткого видео.
Что думаете вы насчет таких программ, насколько они актуальны в работе вебмастера?