Автор: Sol Kogan
Spiderfoot это утилита которая позволяет собрать максимальное количество информации о каком-либо сайте или сервере. В нее встроено огромное количество различных модулей, и полное сканироване цели может занять от нескольких часов до суток и более. Тем не менее, несмотря на длительное ожидание в конце мы получим подробный отчет, в котором могут быть тонны полезной информации о ресуре.
Для того чтобы установить Spiderfoot вам нужен какой-нибудь Linux. У меня установлена замечательная ОС для пентестеров Parrot OS.
Сперва нужно зайти на официальный сайт Spiderfoot и скачать архив с программой https://www.spiderfoot.net/download/
После скачивания распакуйте архив в какую-нибудь директорию, где в дальнейшем планируете хранить программу Spiderfoot.
Прежде чем запускать Spiderfoot установите некоторые модули для Python, необходимые для работы
pip install lxml netaddr M2Crypto cherrypy mako
После установки всех модулей откройте каталог со Spiderfoot и вызовите в данном каталоге терминал Linux. Чтобы запустить Spiderfoot дайте следующую команду:
python sf.py
У вас запустится Spiderfoot в терминальном окне, однако чтобы получить доступ к интерфейсу пользователя нам понадобится браузер. Не закрывая терминальное окно с запущенным Spiderfoot, откройте любой браузер и введите в адресной строке следующий адрес:
Если все установлено правильно и вы случайно не закрыли терминал с запущенной программой, в браузере появится интерфейс Spiderfoot.
Прежде чем начинать сканирование какого-либо сайта, зайдите в Settings и добавьте API ключи для различных сервисов. API ключи необходимо заранее получить, зарегистрировавшись на соответствующих ресурсах. Впрочем и без настройки API ключей, Spiderfoot даст довольно много информации о цели.
Настроив ключи, нажимаем на кнопку New Scan и заполняем поля Scan Name - имя текущего сканирования - можно ввести что угодно, и Seed Target - домен сайта-цели или его IP адрес.
Также нам необходимо указать тип сканирования. Для этого есть три вкладки: На первой из них под названием By Use Case нам предлагается выбрать одну из четырех предустановленных комбинаций настроек
All
Все модули SpiderFoot будут включены, будет получена и проанализирована вся возможная информация о цели. Работать будет очень долго - возможно целые сутки.
Footprint
Получение только той информации о ресурсе, которая имеется в открытом доступе в сети интернет.
Investigate
На случай если вы подозреваете что цель является вредоносным сайтом. Некоторые базовые проверки будут выполнены в дополнение к запросам из черных списков и других источников, которые могут содержать информацию о вредоносности вашей цели.
Passive
Когда вы не хотите, чтобы цель даже подозревала, что вы ищите информацию о ней. Кроме этих четырех предустановленных режимов, можно создавать собственные комбинации настроек на вкладках By Required Data - определяет какие данные нужно искать, и вкладке By Module - определяет какие модули нужно задействовать при поиске.
Запустить процесс сканирования можно нажав кнопку Run Scan. Приготовьтесь к тому что программа будет работать долго. Во время работы Spiderfoot будет отображать количество и тип найденной информации в виде столбчатой диаграммы. Вы можете следить за ходом работы по логу в нижней части окна. Также, в режиме реального времени можно перейти на вкладку Browse и посмотреть уже найденные данные. После того как сканирование будет завершено, Status изменится на Finished.
Теперь можно перейти на вкладку Browse и заходить в различные категории найденной с найденной информацией. Доступны отчеты в CSV формате, графы, визуализация результатов, а также поиск по не отсканированным данным
В результаты сканирования порой попадает информация которая явно не относится к данному сайту (например занятые на сторонних ресурсах логины созвучные с именем сайта), но мы можем исключить данные вещи путем предварительной настройки модулей сканирования. Как видим, Spiderfoot - прекрасный инструмент для сбора информации о сайте, имеющий гибкие настройки и выдающий максимально подробный отчет о цели.