При поиске технических ошибок на сайте полезно анализировать логи сервера, чтобы понимать, как часто и какие страницы сканируются поисковыми системами и другими ботами.
Конечно же, большинство из этих ошибок указаны в GSC, но не все страницы, так как GSC показывает только примеры наличия проблемы, а не полный отчет о технических ошибках.
В логах сервера видны следующие проблемы:
- Наличие битых ссылок, которые посещаются роботами или пользователями.
- Посещение страниц, с которых проставлен редирект.
- Мусорные страницы, которые сканируются поисковыми системами или посещаются пользователями.
Программ для анализа логов десятки, выбирайте на свой вкус:
2. goaccess.io.
3. Web Log Explorer.
5. seolyzer.io.
Разберем на примере Apache Logs Viewer, принцип у всех программ +- одинаковый, отличается только визуальное предоставление информации.
Как работать с программой Apache Logs Viewer:
1. Скачиваете Apache Logs Viewer – https://www.apacheviewer.com/download/.
2. Скачиваете с хостинга логи сервера за последнюю неделю.
3. Открываете логи и выбираете формат Combined, чтобы показывались данные по User-agent и Referer.
4. Открывается таблица с 8 столбцами:
- IP-адрес посетителя.
- Дата и время посещения.
- Запрос, т.е. запрашиваемый url-адрес.
- Status – код ответа сервера.
- Referer – откуда совершен переход.
- User-Agent.
- Страна.
Программа бесплатная, но некоторые функции, например, построение сложных графиков и фильтров, платные. Для поиска проблем можно обойтись и без них.
Используя базовые сортировки по коду ответа сервера либо user-agent будут видны технические проблемы сайта, которые требуют внимания оптимизатора.
