Компания Cloudflare представила библиотеку mitmengine, применяемую для выявления фактов перехвата HTTPS-трафика, а также web-сервис Malcolm для наглядного анализа накопленных в Cloudflare данных. Код написан на языке Go и распространяется под лицензией BSD. Проведённый при помощи предложенного инструментария мониторинг трафика Cloudflare показал, что около 18% HTTPS-соединений перехватываются.
В большинстве случаев перехват HTTPS-трафика осуществляется на стороне клиента, благодаря активности различных локальных антивирусных приложений, межсетевых экранов, систем родительского контроля, вредоносного ПО (для кражи паролей, подстановки рекламы или запуска кода майнинга) или корпоративных систем инспектирования трафика. Подобные системы добавляют свой корневой TLS-сертификат в список сертификатов на локальной системе и используют его для перехвата защищённого трафика пользователя. Запросы клиента транслируются на целевой сервер от лица перехватывающего ПО, после чего ответ отдаеётся клиенту в рамках отдельного HTTPS-соединения, установленного с использованием TLS-сертификата перехватывающей системы.
В отдельных случаях перехват организуется на стороне серверов, когда владелец сервера передаёт закрытый ключ третьему лицу, например, оператору обратного прокси, CDN или системы защиты от DDoS, который затем принимает запросы от себя с оригинальным TLS-сертификатом и транслирует их на оригинальный сервер. В любых случаях перехват HTTPS подрывает цепочку доверия и вносит дополнительное звено компрометации, что приводит к существенному уменьшению уровня защиты соединения, оставляя при этом видимость наличия защиты и не вызывая подозрений у пользователей.
Для выявления перехвата HTTPS компанией Cloudflare предложен пакет mitmengine, который устанавливается на сервере и позволяет выявить факты перехвата HTTPS, а также определить какие именно системы использовались для перехвата. Суть метода определения перехвата в сопоставлении специфичных для браузеров особенностей обработки TLS с фактическим состоянием соединения. На основании заголовка User Agent движок определяет браузер, а затем оценивает соответствуют ли этому браузеру такие характеристики TLS-соединения, как параметры TLS по умолчанию, поддерживаемые расширения, заявленный набор шифров, порядок определения шифров, группы и форматы эллиптических кривых.
Используемая при проверке база сигнатур насчитывает около 500 типовых идентификаторов TLS-стека браузеров и систем перехвата. Данные могут собираться в пассивном режиме через анализ содержимого полей в сообщении ClientHello, которое передаётся в открытом виде до установки шифрованного канала связи. Для захвата трафика применяется TShark из состава сетевого анализатора Wireshark 3.
Проектом mitmengine также предоставляется библиотека для интеграции функций определения перехвата в произвольные серверные обработчики. В простейшем случае достаточно передать значения User Agent и TLS ClientHello текущего запроса и библиотека выдаст вероятность перехвата и факторы, на основе которых сделан тот или иной вывод.
На основании статистики о трафике, проходящем через сеть доставки контента Cloudflare, которая обрабатывает примерно 10% всего интернет-трафика, запущен web-сервис, отображающий изменение динамики перехватов по дням. Например, месяц назад перехваты фиксировались для 13.27% соединений, 19 марта этот показатель составил 17.53%, а 13 марта достиг пика в 19.02%.
В проведённом в 2017 году аналогичном исследовании доля перехватов составляла 10.9%. Расхождение вызвано тем, что в новом анализе игнорируются запросы с неизвестным User Agent, в то время как в прошлом исследовании учитывались все запросы. Если включить в новую выборку данные о неизвестных User Agent доля перехвата снижается в среднем до 11.3%, т.е. за два года число перехватов выросло на 3.6% (0.4 в абсолютных значениях).
Наиболее популярным движком перехвата является система фильтрации Symantec Bluecoat, на которую приходится 94.53% всех опознанных перехваченных запросов. Далее следуют Akamai reverse proxy (4.57%), Forcepoint (0.54%) и Barracuda (0.32%). Перехваты антивирусов и систем родительского контроля в основной массе не вошли в выборку опознанных перехватчиков, так как для их точной идентификации собрано недостаточно сигнатур. В 52.35% случаях был перехвачен трафик настольных версий браузеров, а в 45.44% браузеров для мобильных устройств. В разрезе операционных систем статистика выглядит следующим образом: Android (35.22%), Windows 10 (22.23%), Windows 7 (13.13%), iOS (11.88%), другие ОС (17.54%).