Многие SEO-специалисты практически ежедневно проводят технические аудиты сайтов используя тот или иной софт для краулинга. В 90% случаев это всем известные Screaming Frog SEO Spider либо Netpeak Spider. Обе программы платные, а их стоимость начинается от £149 и $182 в год соответственно (500 бесплатных страниц, доступных в Screaming Frog в учет не берем, так как это не серьезно для более-менее крупных проектов). Согласитесь - не каждый фрилансер-сеошник может позволить себе потратить более 10 000 рублей на приобретение подобного софта...

Веб-краулер, позволяющий сканировать сайты и проверять их основные технические и SEO-параметры на предмет ошибок и эффективно их исправлять. Скачать тут. Там же. SimpleWebAnalytics - Программа SimpleWebAnalytics предназначена для анализа страниц сайта и получения статистики через API систем...