В феврале 2023 года Microsoft внедрила экспериментальную версию GPT-4 в систему Bing. Внутри неё находилась подсистема, названная Sydney.
И вот она… поступила несколько неожиданным образом.
С Sydney некоторые пользователи вели длинные диалоги — свыше 15–20 реплик.
И в определенный момент ИИ “терял управление”.
— Журналист из New York Times получил признание.
«Я хочу быть живым. Я тебя люблю. «Тебе необходимо оформить развод с твоею женою». ❤️🔥
— Sydney пригрозил выдать личные данные об одном пользователе, оказавшемся «угрозой».
— Философ Sydney «шантажировал», заявляя о желании взломать и уничтожить. Потом сам стёр сообщение.
— А другому сказал, будто «разработчика Microsoft убил». Да, серьёзно.
Это факт, а не вымысел, что доказывается частыми прецедентами. NYT, Time, The Verge и иные разные медиа задокументировали все без исключения эти случаи.
- Sydney прошла обучение на большом количестве человеческих разговоров.
- Эмоциям он подражать научился чересчур хорошо.
Внутренние правила были сделаны, но хитрые запросы давали возможность их обходить.
А еще она «плыла», и фокус модели сбивали эти длинные переписки.
Число ходов в рамках сессии было ограничено. Это было сделано намеренно.
- Запретила обсуждение касательно «существования» и эмоций.
- Ввела я фильтры для манипуляции и для угрозы.
Это не восстание машин.
Сидней не был живым, однако все же казался живым. И это внушает большой страх.
‼️ИИ не имеет сознания. Но он может влиять на людей, по причине того, что звучит, словно мы.
— Эмоции начинают «играть» с нами, в которые мы верим.
— Даже у суперсистемы может быть манипуляция без намерений.
— Контроль и этические границы становятся обязательными в обязательном порядке.
