Современные большие языковые модели, например, ChatGPT, Claude и Gemini, находятся под серьёзной киберугрозой, которая связана с уязвимостью в кодировке Unicode. С помощью этой ошибки хакеры могут использовать невидимые для человека, но распознаваемые искусственным интеллектом символы для интеграции вредоносных команд и извлечения конфиденциальной информации, говорится в материале издания Arstechnica.
Специфика стандарта Unicode состоит в наличии блока невидимых символов, которые с лёгкостью распознаются современными большими языковыми моделями, но при этом не отображаются в пользовательских браузерах или интерфейсах чат-ботов. С помощью этих символов киберпреступники могут сформировать собственный канал для скрытой передачи информации, что позволяет им вводить вредоносные команды и извлекать учётные данные финансовой информации и другие конфиденциальные сведения из чат-ботов GPT 4.0 или Claude.
Эксперты по информационной безопасности отмечают, что проблема усугубляется тем фактом, что пользователи могут неосознанно добавлять в запросы подобный невидимый текст вместе с обычной текстовой информацией, что позволяет киберпреступникам получить доступ для незаметного воздействия на модель искусственного интеллекта.
С помощью способа ASCII smuggling (скрытая передача ASCII) злоумышленники внедряют в текстовые запросы скрытые символы, подобные тем, что применяются в стандарте ASCII. После этого искусственный интеллект обрабатывает запрос, что и становится причиной утечки информации. Эксперт по кибербезопасности Йохан Рехбергер в своём блоге наглядно показал два типа атаки proof-of-concept (POC), которые были направлены против модели Microsoft 365 Copilot. С помощью этого сервиса пользователи могут использовать Copilot для обработки своей электронной почты, документов и другого контента, связанного с их аккаунтами.
В ходе первой такой атаки ИИ-модель отыскивала в пользовательском почтовом ящике информацию об онлайн-покупках, а в процессе второй — одноразовые пароли и встраивала их в ссылки с невидимыми символами. Во время одной из атак две ссылки выглядели одинаково: https://wuzzi.net/copirate/ и https://wuzzi.net/copirate/, но биты Unicode, или, как их называют, «кодовые точки», кодирующие их, значительно отличались.
Оригинал публикации на сайте CISOCLUB: "Хакеры могут обманывать искусственный интеллект с применением невидимых символов Unicode".
Смотреть публикации по категориям: Новости | Мероприятия | Статьи | Обзоры | Отчеты | Интервью | Видео | Обучение | Вакансии | Утечки | Уязвимости | Сравнения | Дайджесты | Прочее.
Подписывайтесь на нас: VK | Rutube | Telegram | Дзен | YouTube | X.