Перед прочтением настоятельно рекомендую прочитать мою предыдущую статью. В этой части я продолжу перечислять инструменты для осуществления сбора информации о сайте. Robots.txt Данный текстовый документ создается для ботов поисковых сервисов. Если владелец сайта не хочет что бы какая-то страница либо каталог отображались при поиске, либо производилась задержка между загрузкой страницы и так далее, то автор вносит определенные директивы. Самые популярные: User-Agnet - эта директива дает вводные для определенного поискового бота. (вводная действует для всех ботов). Dissalow - запрет на индексирование. Sitemap - место нахождения файла карты всего сайта, что бы предоставить боту страницы для их индексирования. Allow - разрешение на индексирование определённого каталога/файла. Crawl-daley - задержка на n-нное количество секунд. Так как любая из этих вкладок для нас недоступна, и вероятнее всего, выдает ошибку 403, перейдя по практически всем вкладкам перекидывает на страницу с ошиб
Сбор данных о сайте и его скрытой информации. Методы и способы. Часть вторая.
7 августа 20207 авг 2020
4
3 мин