Где есть новые технологии, есть и возможности для злонамеренного использования. Появились компьютерные программы — появились и вирусы, а с развитием нейросетей стоило ожидать и «злой» версии ИИ. Кажется, она уже здесь.
Это произошло: на базе чат-бота ChatGPT, разработанного компанией OpenAI, создали его злого двойника WormGPT (от слова «червь» — названия одного из самых популярных компьютерных вирусов). ChatGPT — это довольно сложная модель искусственного интеллекта, которая генерирует текст, очень похожий на созданный реальным человеком, — достаточно дать лишь немного вводных.
WormGPT использует ту же ИИ-модель для создания фишинговых рассылок, то есть массовых электронных писем. Притом вместо однотипного текста, легко блокируемого антиспам-сервисами, «ИИ-червь» создает «живой», который такую блокировку обходит. Получается убедительное персонализированное письмо. Исследователи, получившие доступ к WormGPT, опробовали его: они создали письмо, которое может заставить ничего не подозревающего менеджера оплатить мошеннический счет.
Доступ к WormGPT распространяется на форумах, связанных с киберпреступностью. Кто именно создал «червя», неизвестно, но уже установлено, что работает он на языковой модели 2021 года. Также неизвестно точно, на каких данных обучали нейросеть, но там однозначно был багаж вредоносных программ.
Как рассказал кибер-исследователь Дэниел Келли, WormGPT похож на ChatGPT, но не имеет этических границ или ограничений, зашитых в оригинальном чат-боте. Кто работал с ChatGPT, знает, что с его помощью не получится создать запрещенный контент — чат отвечает отказом на такие запросы. «Червя» же обучали при помощи так называемых джейлбрейкеров, то есть хитрых способов обойти этические барьеры исходного ИИ. Итак, WormGPT — это безупречная и живая грамматика, обходящая антиспам-системы, персонализация имейла под получателя и простота в применении: даже начинающие и неопытные киберпреступники могут воспользоваться таким инструментом.
Одной из мер борьбы с подобными вредоносными рассылками может стать автоматическое предупреждение, что внешний адресат выдает себя за внутреннего (письмо якобы от вашего начальника, но пришло не с его адреса), и дополнительные пометки на письмах с ключевыми словами вроде «срочно», «конфиденциально» или «электронный перевод».
Кстати, WormGPT — не единственный вирусный ИИ. Он начал распространяться в даркнете после того, как исследователи из Mithril Security специально изменили существующую модель с открытым кодом, чтобы показать темную сторону ИИ. Их химера получила название PoisonGPT и занималась распространением ложной информации. Исследователи всего лишь хотели показать риски, связанные с текстовыми нейросетями, например что те могут генерировать дезинформацию, изменять общественное мнение и даже влиять на политические кампании, а в итоге открыли ворота новому витку киберпреступности. Впрочем, едва ли их можно винить: рано или поздно это бы все равно случилось это просто часть закономерной гонки технологий.
