Владельцы сайтов, читающие статьи блога, знают, что такое «спайдерная» выгрузка, и какими программами («пауками») можно ее получить. Пришло время научиться с ней работать. Изучать «спайдерную» выгрузку можно в отчете «паука», либо в Excel, куда отчет выгружается. Рекомендую выгружать в Excel, проще разобраться с ним, чем с интерфейсом программы «паука». В качестве примера возьму отчет из Comparsera, т.к. львиная доля владельцев сайтов будет его использовать. ◉ № – номер страницы, не важно. ◉ Ответ сервера – в идеале все должны быть 200 ОК; найденные 404 отдаем программисту на исправление. ◉ URL страницы – в идеале должны быть ЧПУ (человеко-понятные, т.е. читабельные). ◉ Длина Title – число символов в Title (лучше до 70-90 символов). ◉ Title страницы – нужны заполненные, уникальные в рамках сайта, с ключевыми словами. ◉ Глубина – уровень вложенности страницы (лучше до 5-7). ◉ Meta robots – показывает, разрешена ли страница к индексации мета-тегом robots (об этом будет отдельная статья).