В этой статье мы проводим время, беседуя с экспертами OSINT и частными детективами, чтобы выяснить это. Здесь мы рассмотрим их хорошие и плохие стороны (не так много плохих сторон!), Предоставляя наш обзор, ссылку и советы на 2022 год.
Что это даст вам?
Этот документ расширит ваши знания и добавит 16 удивительных инструментов для расследования, которые приведут вас глубже в темную и довольно часто секретную пещеру онлайн-расследований. Как я уверен, вы знаете, Open Source Intelligence (OSINT) — это приложение, использующее общедоступные данные для достижения вашей цели. Открытый исходный код может создавать впечатление только общедоступной информации. OSINT также может использовать человеческий интеллект (например, социальную инженерию). Но существует множество методов сбора и анализа этой информации, не все, но большинство, в том числе с использованием компьютерных систем.
Почему OSINT так важен?
OSINT разбирается в хаосе, который представляет собой данные в режиме онлайн (а иногда и в автономном режиме). Любой может собирать информацию с помощью правильных инструментов. Настоящий OSINT устанавливает связи между информацией для достижения цели. Инструменты OSINT предоставляют простые решения. Решения, которые сделают вашу жизнь лучше.
Использование инструментов OSINT для поиска общедоступных ресурсов
Одним из наиболее распространенных аспектов запуска сбора данных OSINT является попытка точно определить общедоступные ресурсы, такие как веб-сайты, адреса компаний и личные адреса. На самом деле нас не интересуют уязвимости систем или компьютерных программ, это больше для мира тестирования на проникновение.
Тем не менее, немного знаний о тестировании на проникновение может дать некоторую информацию. Например, путем удаленного подключения к серверной системе, принадлежащей вашей цели, вы можете получить некоторую информацию. Перед вводом имени пользователя или пароля вам будет представлена операционная система и контактные данные администратора. Иногда это может быть полезно в ситуациях социальной инженерии.
Использование OSINT для поиска нужной информации за пределами организации
В наши дни вторичной функцией инструментов OSINT является поиск «дополнительной» релевантной информации за пределами прямого запроса, который вы искали. Такой информацией может быть приобретенная компания, вторичная компания или близкие отношения или контакты с рассматриваемой целью. Это может определить дополнительные потенциальные физические адреса цели. Другие интересы, такие как учетные записи в социальных сетях и фотографии из социальной жизни, могут предоставить представление. На этой картинке может быть показана местная социальная среда обитания и цель. Теперь вы можете быть в курсе их местных сайтов в Интернете.
Приведите обнаруженную информацию в форму, пригодную для применения
Наконец, после того, как информация была найдена и собрана, включая связанную соответствующую информацию, кто-то должен сгруппировать все это вместе. Они должны связывать все моменты воедино и применять некоторый логический анализ (требуется исследовательский склад ума!).
Запуск сканирования OSINT может возвращать большие объемы информации, поэтому вам нужно хорошо разбираться в том, как уделять внимание важной информации, уделяя пристальное внимание деталям. Объединение всей этой информации воедино, чтобы сосредоточиться на наиболее полезных аспектах, может быть очень эффективным для создания общей картины. Инструменты пытаются это сделать, но на самом деле для этой части нужен хороший человеческий мозг и немного кофе.
Лучшие инструменты OSINT, используемые экспертами
Что нужно сделать в первую очередь? выберите правильный инструмент (ы!). Вам не нужно использовать какие-либо инструменты, но, учитывая огромное количество мест, где может находиться информация, наличие инструмента помогает. Инструмент, который проверяет тысячи местоположений в течение нескольких секунд, может быть очень экономичным по времени.
Если вы пытаетесь найти информацию о своей личности или бизнесе, предотвращая будущих онлайн-злоумышленников, вам нужно что-то быстрое и повторяемое. Быстрое выполнение этого может означать, что ваши сотрудники или члены семьи не будут подвергаться фишинговым атакам.
Итак, вот оно. Мы считаем, что лучшие инструменты помогут вам провести тщательный и эффективный анализ OSINT как вашей цели, так и ваших собственных активов. Мы перечислим их здесь, а затем подробно расскажем о том, как каждый из них может сделать вашу карьеру следователя более эффективной (в произвольном порядке):
- Maltego
- Поиск в DorkSearch
- Поиск мошенничества
- Митака
- SpiderFoot
- Spyse
- Встроенный
- Интеллект X
- DarkSearch.io
- Grep.app
- Разведка
- THE Harvester
- Shodan
- Metagoofil
- Поисковый код
- SpiderFoot
- Babel X
Инструмент OSINT: Maltego – упрощение использования сложного OSINT с отличными картами и преобразованиями
Maltego фокусируется на поиске конкретных взаимосвязей между активами, людьми, компаниями и доменами веб-сайтов (и делает это очень хорошо). В наши дни большинство основных платформ OSINT предоставляют Maltego API. Они позволяют инструменту подключаться и представлять данные в Maltego. Тем не менее, может быть известно, что для составления всей необработанной информации требуется много времени. Графики в инструменте отлично справляются с представлением информации в виде удобочитаемых диаграмм. Последнее, что мы слышали, может отображать до 10 000 точек данных.
Инструмент работает путем автоматизации поиска ваших данных по различным общедоступным источникам информации. Он пытается предоставить решение с исходным кодом в 1 клик, и мы считаем, что оно делает это очень хорошо. Он управляет этими источниками данных с помощью так называемого «преобразования» и имеет довольно много встроенных функций. Некоторые из них — записи DNS, поиск в социальных сетях, проверки WHOIS и некоторые другие. Вы также можете добавлять пользовательские преобразования, если найдете совместимый API для подключения.
Существует бесплатная версия с ограниченными возможностями и платным экземпляром в размере 1 999 долларов США. Они также предоставляют решения для установки серверов для крупномасштабных решений, стоимость которых начинается от 40 000 долларов и включает интенсивное обучение.
Инструмент OSINT: поиск пользователей – поиск людей по именам пользователей и электронной почте
Поиск пользователей — это обширная сеть поисковых систем, которые сканируют Интернет, чтобы найти точное совпадение по имени пользователя или адресу электронной почты. Он сканирует сотни и сотни веб-сайтов. Он может найти конкретный профиль пользователя на форумах, в социальных сетях, на сайтах знакомств, досках объявлений, крипто-сайтах и сайтах азартных игр. На сегодняшний день это одна из самых полных и точных поисковых систем в Интернете по именам пользователей и адресам электронной почты. Популярной особенностью этого сайта является его способность сканировать все популярные сайты знакомств на предмет имен пользователей. Придирчивый инструмент для частных детективов!
Он работает уже более 15 лет, поэтому разработчики занимают довольно сильную позицию в отношении OSINT имен пользователей или адресов электронной почты. Разработчики — это команда экспертов по открытым исходным кодам и разработчиков программного обеспечения.
Сайт абсолютно бесплатный в использовании и может проверять до 800 сайтов примерно за 30 секунд, что довольно удивительно. Это буквально Google для имен пользователей и адресов электронной почты. Они также недавно выпустили премиум-сервис, который находится в альфа-версии. В премиум-версии сообщается о поиске еще большего количества информации и охватывает больше веб-сайтов, таких как сайты знакомств. Они предлагают услугу за $ 6,99 в месяц, которую вы можете отменить в любое время.
Инструмент OSINT: DorkSearch — Google Доркинг до крайности
Здесь у нас есть DorkSearch.com , бесплатный сервис, созданный и выпущенный для сообщества в начале 2022 года. Этот инструмент, похоже, является разновидностью сервиса, предлагаемого exploit-DB, но с гораздо более полезными и широкими возможностями. Новичок в OSINT? Dorking — это, по сути, набор полусекретных поисковых запросов, которые можно использовать в Google. Их использование может показать результаты, которые на самом деле не предназначены для Google! Также известен как «Глубокая сеть» (не путать с Dark Net / TOR).
Разработчики, по сути, создали Google для придурков. Здесь, на картинке ниже, вы можете видеть, что у них простой интерфейс. Впоследствии он позволяет вам просматривать, какой придурок вас интересует, а затем вам просто нужно щелкнуть то, что вы хотите. Больше не нужно вводить поисковые запросы и пытаться определить, какой тире или восклицательный знак вы пропустили!
Они также создали то, что они называют ‘Builder’. Это огромная коллекция терминов для придурков, но они включают в себя такую информацию, как цель, советы и то, работают ли они в Интернете / изображениях / группах или группах новостей. Что вы можете сделать, так это нажать на придурка, и этот термин автоматически заполняется в строке поиска. Затем вы можете щелкнуть другой Dork, и он будет добавлен в панель поиска. Это побуждает пользователей открывать совершенно новые поисковые запросы с помощью простых кликов. Отличная идея!
Инструмент OSINT: ScamSearch.io – Глобальная база данных отдельных мошенников и мошеннических сайтов
Еще один бесплатный сервис, который появится в Сети в течение 2022 года, это ScamSearch.io . Мы считаем, что это один из самых больших для сообщества OSINT на сегодняшний день. ScamSearch — это огромный (огромный!) база данных отчетов из краудсорсинга, мошенников.Крипто-мошенничество, электронная почта, социальные сети, офлайн-мошенничество, телефонное мошенничество, буквально каждая мошенническая ситуация, о которой вы можете подумать; этот сайт записывает ее и делает доступной бесплатно. В настоящее время у них зарегистрировано около 10 миллионов мошенников, и еженедельно их число увеличивается на несколько тысяч.
У них есть простая панель поиска, которая позволяет вам искать имя пользователя, адрес электронной почты, крипто-адрес, псевдоним, настоящее имя или веб-сайт в их базе данных. Учитывая размер базы данных, можно подумать, что поиск будет медленным … но это происходит мгновенно. Их панель поиска также раскрывается и предлагает предложения, похожие на ваш поисковый запрос, если у них есть что-то близкое.
ScamSearch, благодаря своему краудсорсинговому характеру, также поощряет пользователей использовать свой сервис для сообщения о мошенниках. Многие исследователи OSINT и сообщества по борьбе с мошенничеством используют эти данные для выявления мошенников и препятствования их работе, поэтому вы делаете добро, сообщая о них здесь!
Инструмент OSINT: Mitaka — поиск IP-адресов, MD5, ASN и биткойн-адресов
Это доступно как расширение для Chrome, а также для Firefox. Это позволяет вам искать в более чем дюжине основных поисковых систем домены, URL-адреса, IP-адреса, хэши MD5, ASN и биткойн-адреса. Это очень удобный набор инструментов в вашем браузере и для тех, кто может предпочесть более целенаправленный, ограниченный набор инструментов.
Инструмент OSINT: Spiderfoot — обширный набор интеллектуальных ресурсов с открытым исходным кодом
Это бесплатный инструмент поиска, который может извлекать данные из нескольких разных источников для сбора информации о различных онлайн-ресурсах. Он ищет IP-адреса, диапазоны CIDR, домены, поддомены, ASN, адреса электронной почты и номера телефонов. Он находится на GitHub и поставляется как в версии командной строки, так и в версии встроенного веб-сервера. Он содержит более 200 модулей, что делает его идеальным для красных и синих команд в рамках вашего начального процесса.
Инструмент OSINT: Spyse — инструмент OSINT goto для доменов
Этот инструмент описывается в Интернете как «самый полный реестр интернет-активов» в Интернете. Похоже, что основное внимание уделяется работе в области кибербезопасности. Этот инструмент используется многими основными инструментами OSINT, предоставляя исходные данные. Он собирает общедоступные данные о веб-сайтах и их информацию WHOIS (например, владельцев, связанные серверы и устройства, подключенные к Интернету Вещей).
Затем данные могут быть проверены их собственным движком для выявления потенциальных рисков безопасности и связей между различными объектами. У него есть бесплатный тарифный план, хотя разработчикам, которые надеются создавать приложения на основе данных, предоставляемых Spyse API, потребуется оплатить подписку.
Инструмент OSINT: встроенный — OSINT, чтобы найти, с помощью каких сайтов созданы!
Можете ли вы догадаться, что делает этот инструмент? Используя Builtiwth, вы можете определить, какие технологические стеки используются на различных веб-сайтах и платформах. Например, он может определить, создан ли веб-сайт с использованием WordPress, Joomla или любой другой платформы, подобной CMS. Он также создаст отличный список подключаемых модулей, которые в настоящее время использует веб-сайт, его фреймворки и даже общедоступную информацию о сервере. Это еще один отличный инструмент для красных и синих команд при первоначальной проверке сервера в рамках аудита безопасности.
В качестве дополнительного бонуса вы можете связать этот инструмент со сканером безопасности, таким как WPScan, и API базы данных уязвимостей WordPress. Затем это может быстро выявить распространенные уязвимости в используемых модулях WordPress.
Инструмент OSINT: Intelligence X — база данных буквально всего OSINT!
Intelligence x — один из лучших архивных и поисковых сервисов, к которым у нас есть доступ в Интернете. Он не только архивирует исторические версии веб-сайтов в Интернете, но также включает утечку данных, которые в наши дни обычно удаляются довольно быстро. Хотя это может показаться немного похожим на то, что предлагает сервис Internet Archive, Intelligence X предлагает несколько довольно интересных отличий. Независимо от того, насколько противоречивой является утечка данных, Intelligence X, похоже, не слишком беспокоится, предоставляя ее широкой публике навсегда.
Ранее он архивировал информацию, такую как серверы электронной почты, во время утечки ситуаций с Хиллари Клинтон и Дональдом Трампом.
Инструмент OSINT: Grep.app
Вы когда-нибудь думали, что было бы удобно, если бы вы могли выполнять поиск по полумиллиону репозиториев git парой кликов? конечно, вы, возможно, пробовали использовать панель поиска на Github. Но Grep.app выполняет эту работу намного быстрее и эффективнее.
OSINT Tool: Recon-ng – отлично подходит для разработчиков сценариев на python
Вы немного разбираетесь в программировании на Python? Если это так, у вас есть ранний рождественский подарок, когда дело доходит до разведки. Это очень мощный инструмент python, написанный на python. Это позволяет вам очень хорошо взаимодействовать с Metasploit Framework, что должно облегчить вам изучение его использования. В нем также есть справочная область, которая поможет вам наилучшим образом использовать инструмент, поэтому разработчики python должны иметь возможность интегрировать его довольно быстро.
Сам инструмент автоматизирует один из самых трудоемких аспектов действий OSINT. Это позволяет автоматизировать больше повторяющихся действий, отнимающих много времени, что позволяет сосредоточиться на фактическом расследовании OSINT.
Он разработан таким образом, что даже новейший разработчик python должен иметь возможность использовать инструмент для поиска общедоступной информации и получения достойных результатов. Он работает в модулях с множеством встроенных функций, предназначенных для удобства использования. Обычные задачи, такие как нормализация выходных данных, подключение к базам данных и создание URL-запросов к веб-сайтам, а также использование / управление ключами API для сбора данных непосредственно из интерфейсов API, быстро и легко выполняются с помощью Python. Вместо необходимости программировать разведку, это позволяет вам просто выбрать, какой модуль вы хотите использовать, и указать ему назначение. Инструмент бесплатный, с открытым исходным кодом и включает в себя огромную вики-страницу, которая содержит исчерпывающую информацию о том, как начать и использовать инструмент, используя лучшие практики для OSINT.
theHarvester – OSINT для сетей
Одним из самых простых в использовании готовых инструментов, с которыми мы столкнулись, является популярный инструмент theHarvester. Он построен снизу вверх для сбора общедоступной информации, которая существует в организации, но за пределами собственной сети организации. Он может идентифицировать интересную общедоступную информацию в компьютерной сети организации, заглядывая за ограду. Использование множества встроенных инструментов для этого делает его очень эффективным инструментом разведки перед началом теста на проникновение или аналогичной деятельности.
Инструмент собирает информацию от крупных поставщиков данных, таких как Bing и Google, но также использует менее известные области Интернета и мета-движки. Для этого он подключается к Netcraft для интеллектуального анализа данных и Alien vault threat exchange, что позволяет быстро выявлять известные уязвимости. В основном он может сканировать порты и собирать электронные письма, имена, поддомены, IP-адреса и URL-адреса организации, что идеально подходит для следующих шагов, которые вы выполняете.
Инструмент OSINT: Shodan — Google для устройств Интернета вещей
Shodan — удивительный инструмент, используемый для поиска информации на устройствах Интернета Вещей. Почему? такие данные обычно недоступны для поиска, поэтому вы будете удивлены тем, что сможете узнать. Он может обнаруживать открытые порты и уязвимости в целевых системах, а также сканировать устройства, которые обычно не поддерживаются стандартными сканерами портов.
Другие инструменты OSINT, такие как theHarvester, фактически используют Shodan в качестве источника данных для обнаружения уязвимостей на устройствах Интернета вещей. Одним из самых больших преимуществ Shodan является то, что он отслеживает сотни тысяч устройств Интернета вещей и информацию, содержащуюся на этих устройствах, делая ее общедоступной. Если вы не используете этот инструмент в начале OSINT, вы теряете огромное количество данных. Такие устройства, как камеры, датчики зданий, устройства безопасности, Xboxes, камеры видеонаблюдения и бытовые холодильники! Этот список можно продолжать бесконечно. Этот инструмент является платной услугой, но стоит того. В basic это стоит 59 долларов в месяц. Но чтобы проверить это, вы можете зарегистрировать лицензию фрилансера и бесплатно сканировать до 5120 IP-адресов в месяц.
Инструмент OSINT: Metagoofil – кто создал этот документ?
Это свободно доступный инструмент на Github. Он был разработан и оптимизирован для извлечения информации и метаданных из общедоступных документов, таких как PDF, Doc, Docx, Xls и других распространенных форматов документов. Это буквально онлайн-инструмент для изучения документов.
Информация, которую вы можете извлечь из этого инструмента, очень интересна и впечатляет. Он может возвращать артефакты, такие как имя пользователя, создавшего документ, а также его настоящее имя и иногда его адрес (если компьютер, используемый для создания документа, содержит зарегистрированные системные данные, содержащие эту информацию). Также артефакты, такие как имя сервера, ресурсы сетевого ресурса и информация о каталоге сетевых ресурсов.
Само собой разумеется, что такого рода утечка данных из организации очень полезна для всех, кто работает в области OSINT, или, возможно, нуждается в проведении некоторых мероприятий по социальной инженерии. Очень ценный и бесплатный ресурс для любого исследователя OSINT.
Инструмент OSINT: Searchcode — Google of code!
Поисковый код — это, по сути, эквивалент программного кода Google. Разработчики программного обеспечения довольно часто оставляют конфиденциальную информацию в исходном коде компьютерных программ, предполагая, что никто никогда не будет искать. Вы можете найти электронные письма, имена пользователей и даже пароли внутри исходного кода. Этот инструмент выполняет поиск в исходном коде, быстро находя полезные забытые фрагменты.
Вам не нужно быть разработчиком или программистом, чтобы понять результаты этой поисковой системы, и в большинстве случаев результаты говорят сами за себя. Еще один отличный ресурс для исследователей OSINT, где они знают, что их цели или организации, возможно, выпустили программное обеспечение.
Инструмент OSINT: Babel X — разведданные с открытым исходным кодом на китайском, русском, тамильском языках…
Вам когда-нибудь нужно было провести расследование OSINT для цели, и они могут говорить на другом языке, а вы нет? Это может быть проблемой. Согласно нашим исследованиям, около четверти интернет-пользователей во всем мире говорят на английском как на родном языке, хотя некоторые источники утверждают, что это 55%. А как насчет всей этой полезной информации, которую мы не сможем увидеть, если не владеем испанским, китайским, русским или тамильским языками?
Этот инструмент является решением этой проблемы. Он позволяет вам искать в общедоступной сети, такой как блоги, социальные сети и общие доски объявлений, а также в темной сети и глубокой сети. В настоящее время он может выполнять поиск по источникам данных более чем на 200 языках. Это чрезвычайно полезный ресурс, и исследователям OSINT обязательно стоит его попробовать.
Ресурс OSINT Framework — лучший из лучших
В целом, какой лучший онлайн-ресурс?
Ресурс OSINT Framework. Почему? Это удивительный ресурс, позволяющий увидеть гораздо больше онлайн-ресурсов для OSINT. Это очень, очень популярно. Веб-сайт OSINT Framework содержит огромное количество ресурсов OSINT для всех слоев общества.
Бонусный инструмент OSINT на 2023 год: искусственный интеллект для OSINT
Последнее дополнение к лучшим инструментам OSINT на 2023 год, которое может изначально не восприниматься как инструмент osint, является единственным…ChatGPT!
Что это может сделать для меня, мы слышим, как вы говорите? Вы можете:
- Создайте запрос Google Dork на основе описания (например, “дайте мне Google dork, чтобы найти базы данных SQL для поиска пользователей”).
- Поиск по базам данных на таких сайтах, как Match.com , чтобы выяснить, зарегистрировано ли электронное письмо на этом сайте.
- Дайте вам идеи для расследования, которые помогут вам продвинуться вперед, исходя из описания вашего расследования.
- Сведите результаты расследования к простому абзацу для ваших клиентов.
- Отлично переводите текст на другой язык.
- Список не ограничен (спросите его, как он может помочь вам в расследовании OSINT!)
Наступил новый век, и это очень интересно.
Лучшие из лучших инструментов разведки с открытым исходным кодом!
Итак, в конечном счете, мы считаем, что платформа OSINT является единственным наиболее полезным ресурсом в Интернете. Это одно из лучших мест, где можно найти то, что вы ищете. Мы предлагаем вам попробовать и изучить, что он может предложить. Мы считаем, что то, что мы перечислили, просто лучшее из лучших в Интернете. Если вы специалист по OSINT или информатике, наличие всех этих инструментов в ваших ярлыках окупится. Вам не нужно быть техническим специалистом uber, чтобы иметь возможность их использовать, и с приличной головой на плечах вы найдете то, что ищете. Не стесняйтесь обращаться к нам, если у вас есть какие-либо хорошие ресурсы, и мы будем рады рассказать о них в следующей статье.
