Вводная часть
Данные из открытых источников — невероятно важны как для государственных структур, так и для хакеров. С помощью Big Data, со временем, наши небольшие цифровые отпечатки «налепляются» друг на друга и превращаются в гигантские неоновые вывески. В большей степени проблема не в вопросе существования данных, а в правильной фильтрации под интересующие вас цели.
TheHarvester — небольшой скрапер на Python, который ищет данные из открытых источников по домену, указанным вами.
Во многих сценариях социальной инженерии и разведки вам необходимо узнать Email-адрес человека, или члена организации. Причины могут быть совершенно разными, зависящие исключительно от ваших нужд, будь-то техническая атака, или способ связаться с жертвой.
Некоторые используют Email-скрапинг для провокации цели на ответное письмо, предоставления услуг, отправки фишинговых писем, или получения списка сотрудников, притворяясь одним из них. Временами, вам нужно будет просто узнать, как определенная компания форматирует свои электронные письма, чтобы понять, как они будут выглядеть для рядового пользователя.
Сегодня мы научимся искать данные по электронной почте как OSINT-исследователи через TheHarvester.
Исследователи открытых источников данных сегодня
OSINT(Разведка на основе открытых данных) — вид разведки, опирающийся на поиске неклассифицированных данных для создания портрета цели. Частные компании превратили данное искусство в настоящую науку. Полицейские и разведывательные службы покупают специализированное программное обеспечение у частных поставщиков, для создания портета посредством использования общедоступных API.
Подобные инструменты используются правоохранительными органами для обхода законов о сборе данных протестующих, и может найти информацию, о которой не знает, или не помнит, даже сама цель.
Хакеры используют фреймворки, как Maltego, для построения детального профиля цели, через запросы к API и последующего определения паттерна. Маркетплейс данных, как Transform или инструмент Social Links, могут быть использованы против цели для поиска её ближайших друзей, единомышленников, интересов, даже не выходя на улицу.
Установка и использование
Установка на все UNIX-like системы (macOS, freeBSD, Linux) предельно одинакова, проста, и подробно расписана в самом репозитории.
Для установки нам необходим:
В моём случае, на Kali Linux, theHarvester предустановлен по умолчанию.
Установка на Debian 10 выглядит следующим образом:
~$ git clone https://github.com/laramies/theHarvester Загружаем репозиторий
~$ cd theHarvester — Переходим в загруженный репозиторий
~$ pip3 install -r requirements.txt — Устанавливаем зависимости
~$ python3 theHarvester.py -h — Запускаем theHarvester
Поиск электронных почт, используя theHarvester
Для запуска поиска в theHarvester, нам необходимо ввести некотроые переменные, чтобы программа поняла, что именно нужно искать.
С каждым запуском команды, theHarvester будет инициировать поиск по нескольким платформам для поиска Email-адреса и веб-сайта, связанного с организацией или доменом, указанным вами. Если у вас есть никнейм, домен, или название вашей цели — этого вполне достаточно.
В нашем случае, целью будет msu.ru
Например, мы запустим поиск по поисковой системе Bing и сохраним результат в файл olegdb+
~$ sudo python3 theHarvester.py -d msu.ru -f olegdb -b bing
Продвинутый поиск
Временами, простого поиска достаточно, но если нет — мы можем увеличить количество запросов, рискуя получить блокировку API за слишком частые запросы.
Временами, theHarvester может сломаться за слишком частые (временами — любые) запросы к Bing API, в последствии придётся выполнять запросы последовательно, строка за строкой, вместо использования аргумента all.
В целом, у нас существуют следующие аргументы для уточнения и настройки поиска:
-h, --help показывает сообщение помощи и закрывается
-d DOMAIN, --domain DOMAIN
название компании, ник, или домен для поиска
-l LIMIT, --limit LIMIT
ограничивает количество поисковых запросов, по умолчанию: 500
-S START, --start START
начать с результата под номером X, по умолчанию: 0
-g, --google-dork использовать Google Dorks
-p, --proxies использовать прокси при запросах, прокси можно ввести в файле proxies.yaml
-s, --shodan использовать Shodan для изучения найденных хостов
-v, --virtual-host подтвердить имя хоста через DNS и проверить на виртуальные хосты
-e DNS_SERVER, --dns-server DNS_SERVER
Использовать заданный DNS-сервер
-t DNS_TLD, --dns-tld DNS_TLD
Проверка на домен верховного уровня, по умолчанию: False
-r, --take-over Проверка на перехват домена
-n, --dns-lookup Включить обратный просмотр DNS, по умолчанию: False
-c, --dns-brute Произвести перебор DNS на домен
-f FILENAME, --filename FILENAME
Сохранить результат в HTML и/или XML файл
-b SOURCE, --source SOURCE
Источники:
baidu, bing, bingapi, bufferoverun, certspotter,
crtsh, dnsdumpster, dogpile, duckduckgo, exalead,
github-code, google, hunter, intelx, linkedin,
linkedin_links, netcraft, otx, securityTrails, spyse,
threatcrowd, trello, twitter, vhost, virustotal,
yahoo, all
Порою наш наиболее агрессивный аргумент, — all, может не дать ничего нового, поэтому нам придется изменять нашу тактику для добычи большего числа информации из интернета.
Использовать аргуменнт -S, для игнорирования ложных срабатываний в первых результатах, аргумента -l для более глубокого сканирования, на 1000-5000 запросов больше для каждого механизма по отдельности, что может дать дополнительные данные о цели.
Если вы нашли ценные данные, — вы можете сохранить их в HTML или XML файл, посредством аргумента -f.
Ремарка о точности: theHarvester — скрапер баз данных, и он не отправляет запросы на домены напрямую.
Вследствии этого, однако, получается, что theHarvester не может проверить результаты, поэтому порой вы можете получить устаревшие, или даже ложные данные. Иногда это может быть заметно сразу, иногда — требует более тщательного изучения.
Как исследователь, — вы должны обладать критическим мышлением и понимать, что за инструмент вы используете.
theHarvester — только начало.
Теперь, как только у вас есть электронная почта, — вы можете начать создавать полноценный профиль своей цели, посредством поиска в других инструментах, таких, как Maltego, или даже Facebook и Linkedin.
Аккаунты в социальных сетях, рабочие презентации, доменные имена, никнеймы, могут коррелировать с некоторыми данными из theHarvester.
Хоть theHarvester и не всегда возвращает результаты, это ценный инструмент для добычи данных, особенно для электронных адресов, размещенных в частных доменах, или когда известно название организации или её домен.
Улучшайте ваши результаты
Умение думать как исследователь открытых источников данных поможет вам брать каждый кусочек данных, находить с помощью него новую информацию, соединять новую информацию воедино, и создавать из всего вместе итоговый профиль цели. Каждое использование theHarvester должно рассматриваться как расследование с намерением ответить на вопрос.
Быть уверенным в верности вопроса — важная часть получения итогового результата вашего запроса.
Если вы не знаете, что вы ищете — вы не найдёте ничего.
