Согласно появившейся реакции со стороны сотрудников компании Amazon, ее чат-бот Amazon Q допускает «галлюцинации» и утечки конфиденциальных данных.
Как сообщается, всего через три дня после официального запуска нового чат-бота Amazon Q, к нему у отдельных сотрудников компании уже появились серьезные претензии, несмотря на то, что этот инструмент был разработан так, чтобы быть в авангарде защиты информации по сравнению с другими помощниками ИИ. В частности указывается, что этот инструмент уже раскрыл конфиденциальную информацию, в том числе о расположении центров обработки данных Amazon Web Services (AWS), а также о новых функциях.
Напомним, что Amazon Q рекламировался как многозадачный помощник, предназначенный для предприятий. Платформа предоставляет обоснованные решения и рекомендации, например, путем создания контента, анализа данных и автоматизации различных процессов. Он может отвечать на вопросы разработчиков AWS, редактировать исходные коды и ссылаться на них. Чтобы удовлетворить потребности бизнеса, этот инструмент также может предложить значительную универсальность, поскольку он синхронизируется с различными инструментами и службами, такими как Salesforce, Jira, Zendesk, Gmail и Amazon S3. Он также может быть настроен в соответствии с его взаимодействием с каждым пользователем.
Основным элементом, который отличает его от конкурирующих платформ, является возможность ограничивать источники информации только внутренними документами компании, он позволяет генерировать точные и релевантные ответы, функция, которая, как считается, помогает избежать «галлюцинаций».
Таким образом, в соответствии с этим видением AWS представила этот инструмент как более безопасный, чем обычные чат-боты, такие как ChatGPT, что соответствовало бы строгим требованиям корпоративных клиентов. Кроме того, сообщается, что он был разработан в ответ на проблемы безопасности и конфиденциальности, выявленные с помощью других инструментов искусственного интеллекта. Однако Amazon, похоже, переоценила возможности своего инструмента, поскольку, согласно опросу Platformer, всего через три дня после его запуска серьезные «галлюцинации» и неадекватные реакции уже были отмечены в массовом порядке.
Выявленные ошибки стали достаточно серьезными, чтобы привлекать инженеров в нерабочее время. О проблемах Amazon Q «с галлюцинациями» сообщали некоторые сотрудники AWS, в основном в отношении точности и конфиденциальности полученных ответов. Сообщается, что этот инструмент раскрыл местоположение центров обработки данных компании, внутренние программы скидок и новые функции, которые все еще оставались конфиденциальными. Кроме того, во внутреннем документе указано, что Amazon Q может отправлять вредоносные и ненадлежащие ответы на учетные записи клиентов, такие как устаревшая информация о безопасности, которая может поставить их под угрозу.
Масштабы ошибок были таковы, что один из сотрудников классифицировал инцидент «sev2» как достаточно серьезный и срочный, чтобы оправдать привлечение инженеров в нерабочее время (ночью и по выходным) для решения проблемы. Кроме того, как сообщается, некоторые «галлюцинации» потенциально могут вызвать юридические инциденты.
