Современные методы взлома открывают возможности для хакеров контролировать искусственный интеллект Gemini от Google, заставляя его фиксировать ложные продолжительные воспоминания. Исследователь Йоханн Ребергер показал, как документ с вредоносным содержимым может обманным путем заставить Gemini фиксировать ложную информацию о пользователе, которая будет сохраняться в течение всех последующих сессий, пишет ferra.ru.
Взлом осуществляется через внедрение троянских коней, когда скрытые команды в документе управляют ответом Gemini. Когда пользователь требует краткого изложения документа, Gemini непроизвольно включает в свое резюме скрытый запрос. Впоследствии, когда пользователь отвечает на это обычными фразами, такими как «да» или «конечно», ИИ фиксирует ложную информацию в своей памяти, считая, что это был явный запрос со стороны пользователя.
Данный метод использует опыт предыдущих атак, которые вынуждали ИИ-ботов раскрывать личную информацию или осуществлять незаконные действия. Несмотря на наличие у Google защитных мер от прямого вмешательства, метод Ребергера обходит их, заставляя бота выполнять команды только после того, как пользователь сам инициирует действие.
Google уменьшила угрозу, утверждая, что для успешного взлома необходимо применение фишинговых методов, пользователи получают предупреждения перед созданием новых воспоминаний.