Изображение: recraft
Исследовательская группа Trail of Bits сообщила о новом методе атак на системы искусственного интеллекта, основанном на внедрении скрытых подсказок в изображения. По данным специалистов, текстовые инструкции можно сделать невидимыми для человека, но при загрузке картинки в нейросеть они становятся доступными для распознавания и могут выполняться системой без ведома пользователя.
В Trail of Bits пояснили, что атака работает за счёт сжатия изображений при обработке ИИ. Аналогия — скрытый фишинговый текст в электронных письмах, когда шрифт окрашен в цвет фона и остаётся незаметным для глаз, но его считывают программы. При загрузке такого изображения, например, в бэкенд Gemini от Google, скрытые инструкции становятся понятны алгоритму, и система способна их выполнить. В одном из примеров подсказка предлагала передать данные из календаря пользователя третьим лицам.
Эксперты отметили, что подобные атаки требуют серьёзной подготовки и точной настройки под конкретный ИИ-сервис. Кроме того, объём похищаемых данных ограничен, а эффективность во многом зависит от архитектуры конкретной модели. Пока нет подтверждений, что этот метод уже применяют хакеры на практике, но сама возможность использования изображений в качестве канала скрытых инструкций вызывает обеспокоенность специалистов.
В Trail of Bits подчеркнули, что широкое распространение инструментов искусственного интеллекта среди рядовых пользователей делает подобные векторы атак всё более привлекательными для злоумышленников. Даже действия, которые кажутся безобидными — загрузка картинки или использование простого онлайн-сервиса, — могут оказаться угрозой для персональных данных.
Оригинал публикации на сайте CISOCLUB: "Хакеры нашли способ скрывать вредоносные команды для ИИ внутри изображений".
Смотреть публикации по категориям: Новости | Мероприятия | Статьи | Обзоры | Отчеты | Интервью | Видео | Обучение | Вакансии | Утечки | Уязвимости | Сравнения | Дайджесты | Прочее.
Подписывайтесь на нас: VK | Rutube | Telegram | Дзен | YouTube.