OpenAI сообщила о более чем двадцати кибератаках, созданных с помощью их генеративной модели искусственного интеллекта ChatGPT. В отчёте подтверждается, что ИИ использовался для проведения целевых фишинговых атак, разработки и отладки вредоносного ПО, а также других злонамеренных действий.
Первая из двух подтверждённых атак была зарегистрирована аналитиками Cisco Talos в ноябре 2024 года. Китайские хакеры использовали ChatGPT для проведения фишинговой кампании под названием «SweetSpecter». Атака включала отправку ZIP-файла с вредоносным содержимым; при его загрузке и открытии на системе пользователя запускалась цепочка действий для заражения системы. OpenAI обнаружила, что «SweetSpecter» был создан с помощью нескольких аккаунтов, использующих ChatGPT для разработки скриптов и обнаружения уязвимостей с помощью инструментов на основе больших языковых моделей.
Вторая кибератака с использованием ИИ была проведена иранской группировкой под названием «CyberAv3ngers». Хакеры использовали ChatGPT для эксплуатации уязвимостей и кражи паролей пользователей с компьютеров на базе macOS. Третья атака, возглавляемая другой иранской «Storm-0817», была направлена на разработку вредоносного ПО для Android с помощью ChatGPT. Их вирус собирал списки контактов, извлекал журналы вызовов и историю браузера, получал точное местоположение устройства и имел доступ к файлам на заражённых устройствах.
Хотя все эти атаки использовали существующие методы разработки вредоносного ПО, в отчёте отмечается, что нет указаний на то, что ChatGPT создал принципиально новые приложения. Тем не менее, эти случаи демонстрируют, насколько легко злоумышленники могут обмануть сервисы генеративного ИИ для создания инструментов для атак.
OpenAI заявила, что продолжит совершенствовать свой ИИ, чтобы предотвратить использование подобных методов. В настоящее время компания работает с внутренними командами по безопасности и обещает продолжать делиться своими выводами с коллегами по индустрии и исследовательским сообществом, чтобы предотвратить повторение подобных ситуаций.
Компания также подчеркнула важность того, чтобы другие крупные игроки с собственными платформами генеративного ИИ внедряли меры защиты для предотвращения подобных атак. Осознавая сложность предотвращения таких инцидентов, компании должны внедрять превентивные меры, а не устранять последствия после факта.
Ещё по теме: