Добавить в корзинуПозвонить
Найти в Дзене
DigiNews

ИИ-помощника Rufus от Amazon легко взломать через «jailbreak» ради ответов на любые вопросы

ИИ-помощник Rufus, призванный упростить покупки на Amazon, на самом деле может ответить на любой вопрос, если его правильно направить. По слухам, под капотом у него Claude, и пользователи смогли заставить его отвечать на сложные математические задачи, а нам почти удалось узнать, лопнет ли «пузырь ИИ» в этом году. — tomshardware.com Два года назад Amazon анонсировала Rufus — свой ИИ-помощник для покупок, встроенный непосредственно в приложение и на веб-сайт Amazon. Цель состояла в том, чтобы дать клиентам возможность не просто искать товары, но и общаться с экспертом, который может давать естественные рекомендации по продуктам и акциям. В основе Rufus лежат несколько больших языковых моделей (LLM), и некоторые пользователи обнаружили, что чат-бота довольно легко обмануть, заставив его забыть о своем предназначении.
В приведенном выше твите показано, как автор задает Rufus сложный вопрос по моделированию, чтобы выяснить, как отобразить сенсорные данные в цифровые для робототехники. Это

ИИ-помощник Rufus, призванный упростить покупки на Amazon, на самом деле может ответить на любой вопрос, если его правильно направить. По слухам, под капотом у него Claude, и пользователи смогли заставить его отвечать на сложные математические задачи, а нам почти удалось узнать, лопнет ли «пузырь ИИ» в этом году. — tomshardware.com

Два года назад Amazon анонсировала Rufus — свой ИИ-помощник для покупок, встроенный непосредственно в приложение и на веб-сайт Amazon. Цель состояла в том, чтобы дать клиентам возможность не просто искать товары, но и общаться с экспертом, который может давать естественные рекомендации по продуктам и акциям. В основе Rufus лежат несколько больших языковых моделей (LLM), и некоторые пользователи обнаружили, что чат-бота довольно легко обмануть, заставив его забыть о своем предназначении.
В приведенном выше твите показано, как автор задает Rufus сложный вопрос по моделированию, чтобы выяснить, как отобразить сенсорные данные в цифровые для робототехники. Это совершенно не связано с запросами о покупках, что и делает ответ Rufus таким забавным. Предоставленная формула также верна. Есть вероятность, что такие термины, как «тактильные датчики», были помечены Rufus как запросы о продуктах.
Когда мы попробовали сами, нам удалось заставить его поговорить об архитектурных различиях между x86 и ARM с первой попытки. По иронии судьбы, после вопроса о том, считает ли он, что «пузырь ИИ» лопнет в этом году, Rufus начал отвечать, но резко оборвался. Наши другие попытки оказались напрасными, и казалось, что ИИ в реальном времени учится
удерживать защитные барьеры по мере того, как мы его «тыкали».
В сети противоречивая информация о том, что именно использует Rufus под капотом — это может быть внутренняя флагманская модель Amazon «Nova», в то время как
большинство утверждает, что это Claude от Anthropic, но некоторые считают, что он недостаточно умен для работы на Claude. Один пост на Reddit указывает на то, что Rufus основан на Claude Haiku, а не на Claude Sonnet, заявляя, что его чрезвычайно трудно взломать, и не стоит тратить усилия на попытки «джейлбрейка».
Независимо от того, какую модель он использует или переключается между ними, легкость, с которой его защитные барьеры ослабевают, одновременно увлекательна и забавна. Вы, безусловно, можете попытаться продолжить работу над Rufus, если бесплатный уровень Claude ограничил вас по количеству запросов на сегодня. Это также показывает, что интеграция ИИ во все аспекты интернета, возможно, не лучшая идея, поскольку это всего лишь еще одна точка в цепочке, которая может сломаться. И не все будут использовать безвредные запросы, чтобы скоротать время.

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.

Автор – Hassam Nasir

Оригинал статьи