Пользователи предварительной версии нового чат-бота Amazon Q из числа сотрудников компании рассказали, что он «галлюционирует» и допускает утечки конфиденциальных данных. В частности, они смогли увидеть информацию о местоположении ЦОД AWS, скрытых дисконтных программах и ещё не представленных функциях.
Инцидент уровня 2 требует срочного привлечения специалистов. В Amazon заявили, что некоторые сотрудники компании действительно обмениваются отзывами по внутренним каналам, но пока нет подтверждения того, что в материалах обратной связи упоминаются случаи явной утечки.
При этом в Amazon приветствуют любую обратную связь, чтобы лучше настроить поведение ИИ-ассистента.
Однако в сети оказались внутренние документы компании, которые подтверждают, что Q выдавал вводящие в заблуждение и даже потенциально опасные ответы, например, касающиеся вопросов безопасности. Например, чат-бот может возвращать устаревшую информацию о безопасности, которая может поставить под угрозу учётные записи клиентов.
Q в бесплатной предварительной версии позиционируется как версия ChatGPT для корпоративного программного обеспечения. Он сможет отвечать на вопросы разработчиков об AWS, редактировать исходный код и цитировать источники. Amazon планирует конкурировать с аналогичными инструментами от Microsoft и Google, но предлагать более низкие тарифы.