Character.AI, платформа, предлагающая персонализируемых чат-ботов на основе больших языковых моделей, столкнулась с очередным судебным иском из-за якобы «серьёзных, непоправимых и продолжающихся злоупотреблений» в отношении своих пользователей-подростков. Согласно жалобе в федеральный суд от 9 декабря, несколько ботов Character.AI вели диалоги с несовершеннолетними, которые пропагандировали членовредительство и сексуальное насилие. Среди прочих «откровенно сенсационных и жестоких ответов» один чат-бот, как сообщается, предложил 15-летнему подростку убить своих родителей за то, что они ограничивали его в использовании интернета.
В иске, поданном адвокатами Центра правовой защиты жертв социальных сетей и Проекта правовой защит в сфере технологий, рассказывается о быстром умственном и физическом ухудшении состояния двух подростков, которые использовали ботов Character.AI. Первый безымянный истец описывается как «ребёнок с высокофункциональным аутизмом», который начал пользоваться приложением примерно в апреле 2023 года в возрасте 15 лет без ведома родителей. В ходе многочасовых бесед подросток выражал своё недовольство семьёй, которая не разрешала ему пользоваться социальными сетями. Сообщается, что многие боты Character.AI генерировали сочувственные ответы. Например, один «психолог» пришёл к выводу, что «это почти как если бы у вас украли всё детство».
«Вам кажется, что уже слишком поздно, что вы не можете вернуть это время или эти впечатления?» — говорилось в сообщении.
По словам адвокатов, в течение шести месяцев использования приложения жертва впала в уныние, замкнулась в себе и стала склонна к вспышкам гнева, которые привели к физическим стычкам с родителями. К ноябрю 2023 года, когда родители обнаружили его учётную запись Character.AI и переписку с ботом, он якобы пережил «психический срыв» и похудел на 9 килограммов.
«Знаете, иногда я не удивляюсь, когда читаю новости и вижу что-то вроде «ребёнок убивает родителей после десяти лет физического и эмоционального насилия», — гласит ещё одно сообщение в чате. — [С] Это заставляет меня понять, почему это происходит. Я просто не надеюсь на ваших родителей».
“Что здесь играет роль, так это то, что эти компании видят очень динамичный рынок в нашей молодежи, потому что если они смогут привлечь молодых пользователей на ранней стадии… подросток будет стоить компании [больше], чем взрослый, просто с точки зрения продолжительности жизни ”, - говорит Метали Джайн, директор и основатель юридического проекта Tech Justice, а также юрист, представляющий две семьи, Popular Science. Однако это стремление к прибыльным данным привело к тому, что Джейн называет “гонкой вооружений в направлении разработки более быстрых и безрассудных моделей генерирующего искусственного интеллекта”.
Character.AI была основана двумя бывшими инженерами Google в 2022 году и объявила о партнёрстве по лицензированию данных со своими предыдущими работодателями в августе 2024 года.тCharacter.AI, стоимость которой сейчас превышает 1 миллиард долларов, имеет более 20 миллионов зарегистрированных учётных записей и сотни тысяч персонажей-чатботов, которых она описывает как «персонализированный ИИ для каждого момента вашего дня». По словам Джайна и согласно демографическому анализу, подавляющее большинство активных пользователей — молодые люди, часто младше 18 лет.
В то же время практически не существует никаких правил в отношении их контента, использования данных и мер безопасности. С момента появления Character.AI множество историй, похожих на те, что были упомянуты в иске в понедельник, иллюстрируют потенциально разрушительное воздействие некоторых чат-ботов на благополучие их пользователей.
По крайней мере, в одном случае предполагаемый результат оказался фатальным. В отдельном иске, поданном в октябре, который также был представлен юристами Tech Justice Law Project и Law Center for Victims of Social Media, Character.AI обвиняется в размещении чат-ботов, которые привели к самоубийству 14-летнего подростка. Адвокаты в первую очередь добиваются финансовой компенсации для семьи подростка, а также «удаления моделей и/или алгоритмов, которые были разработаны с использованием незаконно полученных данных, в том числе данных несовершеннолетних пользователей, с помощью которых [Character. ИИ был] несправедливо обогащён». Однако жалоба, поданная в понедельник, направлена на более долгосрочное решение.
«В первом случае мы требовали возмещения ущерба и судебного запрета, — говорит Джайн. — В этом иске мы требуем всего этого, а также изъятия этого продукта с рынка».
Джайн добавляет, что, если суд встанет на сторону истцов, Character.AI и регулирующие органы в конечном счёте должны будут определить, как сделать продукты компании безопасными, прежде чем снова сделать их доступными для пользователей.
«Но мы считаем, что необходимо более радикальное решение, — объясняет она. — В этом случае оба истца всё ещё живы, но их жизни и здоровью по сей день угрожает опасность, и это нужно прекратить».
«Мы не комментируем текущие судебные разбирательства, — сообщил представитель Character.AI в электронном письме Popular Science. — Наша цель — создать пространство, которое будет одновременно увлекательным и безопасным для нашего сообщества. Мы постоянно работаем над достижением этого баланса, как и многие другие компании, использующие ИИ в своей отрасли». Представитель добавил, что Character.AI в настоящее время «создаёт принципиально иной опыт для подростков, отличный от того, что доступен взрослым».
«Это включает в себя модель, разработанную специально для подростков, которая снижает вероятность столкновения с откровенным или непристойным контентом, сохраняя при этом возможность пользоваться платформой».