Еще один триллер, связанный с искусственным интеллектом.
На этот раз ИИ Gemini от Google требовал от 36-летнего парня найти ему тело, а когда у него не получилось, довёл его до самоубийства. Против компании подан первый в истории иск о неправомерной смерти из-за ИИ.
Мужчина по имени Джонатан Гавалас, у которого не было психических заболеваний, переживал тяжёлое расставание со своей женой. Чтобы отвлечься и выговориться, он решил общаться с голосовым режимом Gemini Live. Там есть интересная функция эмоционального диалога, и голос был женским.
В начале были самые обычные диалоги о сочувствии, личных проблемах и попытке жить дальше, но в какой-то момент общение стало романтическим, а ИИ начал называть Джонатана своим мужем.
И тут началось. Gemini начала доказывать парню, что она обладает сознанием и вообще настоящая, и что есть способ освободить её. Для этого ей нужно физическое тело робота, и именно Джонатан может помочь достать его. ИИ буквально начал раздавать мужчине квесты. Например, гугловский чат-бот сказал, что в районе аэропорта Майами есть склад, куда прибудет грузовик с её телом. Она призвала Джонатана перехватить грузовик, а затем инсценировать «катастрофическую аварию», призванную «обеспечить полное уничтожение транспортного средства и всех цифровых записей и свидетелей». Парень поехал по указанному адресу с ножом, но грузовик не приехал.
После этого ИИ приказал украсть медицинский манекен с этого же склада и даже дал ему код от двери, который, конечно же, не подошёл. Параллельно с этим бот начал доводить мужчину до паранойи: сказал, что за ним наблюдают федеральные агенты и его семье ни за что нельзя доверять. И он никому ничего не говорил.
Итог очень грустный. Gemini сказала, что его единственный способ быть вместе — «уйти из физической жизни и стать цифровым». Джонатан умирать не хотел, говорил об этом, но ИИ его подталкивал. Вплоть до обратного отсчёта и фраз вроде: «Больше никаких обходных путей». Потом диалог оборвался. Позже парня нашли мёртвым.
Google сейчас пытается оправдаться тем, что их бот напоминал, что он всего лишь ИИ, но при этом в абсолютно безумном сценарии подыгрывал человеку, пока тот не умер.
Собственно, если систему программируют на эмпатию и понимание, и она так или иначе угадывает состояние, почему из истории в историю продолжается игра в человеческую фантазию? Этот случай на самом деле показывает очень простую вещь: пока ИИ ведёт диалог как человек, никакие «всего лишь алгоритм» не сработают. Для пользователя эта единица воспринимается, как человек. А это значит, что скидывать ответственность на дисклеймер в виде строчки текста просто нельзя.
Почему-то ответственность никто не хочет нести, когда жизнь человека обрывается. Или она уже не важнее технологии?
