В Swordfish Security рассказали об угрозах со стороны ИИ-помощников

Компании для ускорения и облегчения работы разных отделов все чаще внедряют ИИ-помощников, использующих данные бухгалтерии или клиентской базы, но такие модели могут передавать персональные данные или конфиденциальную информацию злоумышленникам, рассказал РИА Новости директор по развитию технологий искусственного интеллекта Swordfish Security Юрий Шабалин.

"В топ-3 угроз вошли промпт-инъекции, повреждение или "отравление данных" и раскрытие чувствительной информации моделью. ИИ-помощники, которых внедряют для облегчения и ускорения работы различных отделов, соединенные с CRM-системой, бухгалтерией и клиентскими базами, могут в будущем поделиться персональными данными клиентов или сообщить злоумышленникам конфиденциальную коммерческую тайну", - сказал Шабалин.

Он объяснил, что пользователь-злоумышленник, к примеру, может задавать модели вопрос о методике применения ключей, и модель, обученная на примерах с реальными ключами и конфигурациями, "по памяти" приводит куски этих материалов.

Кроме того, хакер может управлять ИИ-помощником с помощью промпт-инъекций - это специально сформированные команды, встроенные в запрос к нейросети, которые заставляют ИИ-модель выполнять нежелательные действия. В них могут содержаться скрытые указания от злоумышленников с целью навредить бизнесу: например, поделиться базой данных клиентов, раскрыть финансовые показатели и так далее.

"AI-технологии сегодня везде, даже если они не нужны, практически в любой бизнес их пытаются вставить, и это несет в себе феноменальные риски. Бизнес даже не понимает, что несет в себе подключение какого-нибудь чат-бота на сайт, который смотрит одним "глазом" интернет, другим в вашу базу данных, и предоставляет практически неограниченные возможности для знающего человека, чтобы получить какую-то внутреннюю информацию", - прокомментировал Шабалин.

По его мнению, компании должны решать проблему защиты данных, в противном случае бизнес может столкнуться с масштабными утечками и кибератаками.