Использование агентов искусственного интеллекта, имеющих доступ ко внутренним компьютерным системам, сопряжено со множеством рисков. Не исключена вероятность, что киберпреступники могут "отравить" ИИ и заставить его работать на себя. Об этом в статье для РБК рассказал директор по клиентским решениям в компании Curator Эдгар Микаелян.
При этом хакерам, чтобы сделать из интеллектуального агента троянского коня, не нужно прибегать к вредоносным программам или фишингу. Для этого злоумышленникам достаточно совершить промпт-инъекцию — то есть вставить вредоносную инструкцию в запрос пользователя к ИИ-агенту.
По словам Микаеляна, существует и более опасный сценарий: вредоносная инструкция может быть вставлена через данные, с которыми работает внутренний ИИ-инструмент (веб-страницы, документы, письма или ответы API).
"Риск усиливает то, что ИИ-агенты работают автономно и имеют доступ к корпоративным системам", — говорится в публикации.
ИИ-агенты чаще всего применяются в техподдержке, аналитике и работе с данными, а также в клиентском сервисе и финансовых сценариях.
До четверти компаний, опрошенных McKinsey & Company, уже масштабируют использование ИИ-агентов, а 39% экспериментируют с ними.
Будьте в курсе событий: Читайте новости на канале ВЕСТИ в MAX