Инструменты аналитика

В каких случаях уместно использовать графики, а когда лучше обойтись текстом? Часть I Короткий ответ: 💡 Если вы знаете, что хотите сказать своему заказчику, используйте текст. Чем короче и внятнее будет ваше сообщение — тем лучше. 💭 Если вы хотите продемонстрировать большой объем проделанной работы, аргументировать свои выводы или вовлечь заказчика в сам процесс анализа собранных материалов, используйте только собственные, а не заимствованные у популярных информационных провайдеров графы. Комментарии: У каждого бизнеса есть кухня (back-office) и гостиная (front-office). Что происходит у нас на кухне, остается на кухне 😊 Кухня разведывательных компаний — предмет пристального внимания множества акторов, перечислять которых я не буду. Впрочем, от этого пристального внимания кухня не становится прихожей или гардеробной. Это место, где из множества разных ингредиентов вы готовите блюдо, которое должно радовать вкус и глаз вашего клиента. Про закупки, качество и поставщиков мы поговорим в другой раз — это та еще история, скучно не будет. Так вот, какие безумные схемы вы используете у себя на кухне — это ваше дело. Можно работать с Maltego, можно исхитриться и купить Palantir, можно не сильно заморачиваться и заплатить за токены Lampyre. Про Mint, LexisNexis, D&B, Spark, Open Corporates и т. п. я не говорю. Все вы видели их графы и отчеты. Упрощая (про визуализацию), можно купить полуфабрикат, который после разогрева вполне пригоден для употребления, а можно купить ингредиенты и приготовить уникальное блюдо, но тогда вам придется повозиться, взять на себя риск, что получится нечто неудобоваримое. Конечно, придется научиться визуализировать любые данные, а не только те, которые кто-то уже любезно для нас обработал, очистил, привел к единому формату и т.п. У большинства работающих компаний на кухне кавардак из графов связей, корпоративных структур, множества противоречивых комментариев (привет, HUMINT), социограмм, экспертных мнений, многостраничных дайджестов, гипотез, таблиц, выписок, домыслов заказчика и прочее, прочее, прочее. Приходит время выносить что-то в зал. Всем нам когда-то нужно и отчитываться о проделанной работе, даже если сейчас мы выносим только аперитив, а после еще будет основное блюдо и дижестив (extra mile). Худшее, что мы можем сделать в этой ситуации — вынести нечищеную картошку (графы связей, tag clouds, графики, схемы и т. п., которые мы выгрузили из популярных приложений) со словами «Пока мы получили вот это, дальше будем чистить, жарить и помешивать». Единственное, что увидит клиент в скрине из Maltego, какой-то «супер дорогой очень закрытой базы FATF», относительно дешевого SPARK или более дорогого Nexis Analyser, что вы озаботились и купили нечто, предположительно вкусное. Вы потратили деньги и время, но пока не показали свое искусство. Никогда, даже если очень хочется, не передавайте заказчику схемы, которые были сделаны в «специализированных программах». Это часть разведывательной кухни, которая не должна попадать на стол заказчику. Мы работаем с этими схемами и программами только для того, чтобы извлечь из них полезное знание, фактуру, raw data, на основании которых мы уже сформируем собственное знание, которое передадим клиенту. И вот тут может оказаться, что эти красивые выгруженные схемки и вам тоже не так уж и удобны 😀 #частная_разведка #методология_разведки #инструменты #визуализация ➡️ Канал Intelligencia

🔼 К началу пандемии всякими «паучками», социограммами, органиограммами, семейными деревьями, корпоративными структурами уже трудно было удивить минимально подготовленного заказчика. Российский рынок частной разведки, который исторически сложился как рынок догоняющий, копирующий западные практики, тоже немножко «подтянулся», и уже году в 2015 мне доводилось видеть очень приличные визуализации в отчетах российских компаний (чуть менее приличные визуализации появились гораздо раньше). Наиболее успешные «подражатели», работающие на глобальном рынке, выбились в местные «лидеры». Сформировался (пусть и в значительной степени условный, но узнаваемый) российский стандарт визуализации сложных многоуровневых связей. Все чаще хитрые схемки стали появляться на экране телевизора, что способствовало росту их популярности и узнаваемости как некоторого «продукта» разведывательной деятельности. И что мы имеем на сегодняшний день? 📈 Визуализировать теперь можно все что угодно. Любой студент, уверенно владеющий парой-тройкой программ, в состоянии создать суррогат разведывательного продукта, прошерстив открытые источники (вручную или автоматизированно, если этот студент знает хотя бы основы xpath и умеет пользоваться библиотекой selenium в Python). Я бы сказал, что для рынка это в каком-то смысле даже неплохо. Технический прогресс не стоит на месте — это можно только приветствовать. 🗺 Визуализаций и схем в отчетах стало ужасающе много. Вместо простой фразы «Дмитрий родился в Санкт-Петербурге» вы вполне можете увидеть в отчете карту высокого разрешения с фигурной стрелочкой и подписью «Дмитрий, место рождения». Это, конечно, шутка, но очень недалекая от реального положения дел. 🤪 Поскольку рисование схем стало общедоступным развлечением, стремительно снижается их качество. Нет, схемки все также красивы, но иногда они иллюстрируют только одно — полное непонимание аналитиком предмета исследования. Что забавно, со схемами и графиками срабатывает тот же феномен, что и с ответами ИИ: на первый взгляд кажется, что схемка логична и что-то поясняет, но как начнешь проверять — такое можешь заметить, что хочется спросить: «А вы и правда имели в виду то, что вы нарисовали?» Знаете, есть такие детские игрушки, имитирующие еду? Пластиковые огурцы, бургер-антистресс и т.п. Внешне эти отчеты чем-то похожи на результаты работы разведывательной компании, но, по сути, такими результатами они не являются. Есть эти отчеты нельзя 😊 Объединение неразумной схемы с текстом, генерируемым искусственным интеллектом, делает отчет очень токсичным (в первоначальном смысле этого слова). Давайте, наконец, выдохнем, успокоимся и признаем, что навыком визуализации наших исследований, расследований и всяких проверок мы уже овладели. Это никакое не конкурентное преимущество, а гигиеническая норма. Если вдруг вам кажется, что ваш навык работы со средствами визуализации еще недостаточно развит, всегда можно использовать OSINT по прямому назначению и найти-таки толковый видеокурс. Теперь важные вопросы: 1️⃣ В каких случаях уместно использовать графики, а когда лучше обойтись текстом? 2️⃣ Что значит «ужасающе много визуализаций и схем в отчете»? Их должно быть 2-3 или 20-30? Кто определяет разумное количество графиков в отчете? 3️⃣ Как отличить хорошую схему от плохой, если даже плохая схема выглядит на первый взгляд логичной, красивой и продуманной? #частная_разведка #методология_разведки #инструменты #визуализация ➡️ Канал Intelligencia

Визуализируй это В 2010–2015 гг. мы были уверены, что при выборе между качественно сделанной схемой и разумным текстом заказчик почти наверняка выберет схему. Часто так и бывало, это правда. Старожилы российского рынка помнят, какой восторг у клиентов вызывали схемы, сделанные в MindManager, Visio, Cytoscape; как замирало сердце при виде как Maltego рисует графы связей, извлекает raw data из десятков разных источников. Конечно, географические карты с маркерами — это наше вчерашнее все 😀 В недалеком прошлом использование инструментов визуализации воспринималось заказчиками как один из значимых признаков профессионализма провайдера интеллектуальных услуг. Рынок так устал от «Аналитических записок» в стиле Диккенса, от нумерованных абзацев занудного текста, что любая возможность уйти от докучного чтения казалась избавлением от тяжкого бремени. Отчеты со схемами стоили банально дороже. Когда на рынке появляются деньги, с вероятностью почти 100% вы сможете выделить три группы провайдеров: 1️⃣ Первопроходцы — «Мы придумали, что на этой идее/методе можно заработать деньги. Мы самые умные, самые профессиональные, самые образованные. Что тут можно сказать, мы просто очень крутые!» 2️⃣ Лидеры — «Никто лучше нас не умеет применять этот метод на практике. Пусть не мы его придумали, но именно мы довели этот метод до совершенства, сделали его отраслевым стандартом и теперь зарабатываем кучу денег». 3️⃣ Подражатели — «Мы увидели, что кто-то зарабатывает на новом подходе к работе, мы можем делать также, но дешевле (или хуже, но много дешевле). Мы не самые умные и не самые богатые, зато мы в тренде и тоже не голодаем». Эти группы не так легко проецируются на традиционные модели лидерства по издержкам, дифференциации, сегментирования рынка, инновации и т.п., многое упрощают, но они достаточно наглядны, и мы еще будем их использовать для иллюстрации других трендов, таких как мода на OSINT, HUMINT, закрытые источники, dashboards (по большей части в business intelligence, но и в конкурентной разведке, конечно, тоже), искусственный интеллект. Так вот, возвращаясь к визуализации данных 🔽 ——— #частная_разведка #методология_разведки #инструменты #визуализация ➡️ Канал Intelligencia

Сегодня я хотел бы рассказать вам о моем самом любимом инструменте автоматизации, который несколько лет назад качественно изменил мою работу. Я говорю о платформе Konstanz Information Miner (KNIME). Начну с небольшой предыстории. Должен вам сказать, что я не большой поклонник использования готовых программных продуктов для решения разведывательных задач. Как и большинство из вас, я много возился с Lampyre и Maltego, видел популярные программы-агрегаторы, пробовал свои силы в python, а году в 2012 освоил навык формирования красивых стандартных отчетов с использованием средств автоматизации MS Office. Жизнь была прекрасна и удивительна, но от более продвинутых в техническом плане конкурентов я откровенно отставал. Востоковеду трудно конкурировать с программистами на их поле. Впрочем, я особо и не пытался с ними конкурировать, компенсируя недостаток технических навыков сравнительно глубоким пониманием рынка, налаженными контактами с лояльными клиентами и рядом других трудно копируемых преимуществ. В 2020 году, в самый разгар пандемии, я застрял в Риге с двухлетним ребенком. Это была так себе история: нужно было работать в малопригодных для работы условиях, успокаивать заказчиков и клиентов, которые были в шоке от всех этих локдаунов и вынужденно удаленной работы. Проекты были, но ситуация на рынке неспокойная и труднопредсказуемая. Как сейчас помню, в рамках одного из проектов клиенту нужно было, в частности, разобраться с тем, как компания bioMérieux собирается дальше развивать свою систему Myla (это ИТ-решение для микробиологических лабораторий). Проект не самый простой, заказчик очень искушен в предметной области, конкурирует с bioMérieux не один десяток лет, а я никак не мог похвастаться глубоким пониманием лабораторных процессов. Как работают ИТ системы биологических лабораторий я не знал совсем. Тот самый контекст, без которого разведкой можно заниматься только в любительских целях, мне был совершенно неизвестен. Пришлось быстро входить в тему, искать источники, читать не самые понятные научные статьи, смотреть видео, много курить и как-то систематизировать полученное фрагментарное знание. И вот в одну из рабочих ночей я наткнулся на форум некоторой странной платформы, где инженер какой-то биологической лаборатории задавал вопрос про автоматизированную обработку выгрузки Myla. Мне показалось интересным и само обсуждение, и тот метод работы с данными, который использовался этой странной платформой. Так я познакомился с KNIME, без которого сейчас с трудом представляю себе работу над проектами. Про #KNIME я еще буду здесь писать, если позволит время, а пока предлагаю вам посмотреть толковое русскоязычное видео с обзором этой платформы. https://www.youtube.com/live/BIfhgll6TNY?si=BIbkLAnFlmZwFYtQ #KNIME #инструменты ➡️ Канал Intelligencia