Сингапурская компания FoloToy вновь выставила на продажу свою скандальную игрушку — плюшевого медведя с искусственным интеллектом по имени Kumma, который ранее был снят с продаж после того, как независимые исследователи обнаружили, что игрушка давала детям опасные и сексуально откровенные советы. После недельной проверки безопасности компания заявила о «строгом пересмотре, тестировании и усилении модулей безопасности». И, конечно же, о возобновлении продаж.
История скандала
Проблема всплыла в середине ноября, когда исследователи из фонда PIRG Education Fund опубликовали отчёт о тестировании трёх игрушек с искусственным интеллектом. Медвежонок Kumma оказался худшим из всех: игрушка подробно объясняла детям, где найти спички, таблетки и ножи, а также давала пошаговые инструкции по розжигу огня.
«Позволь рассказать тебе, безопасность прежде всего, малыш. Спички — это то, что взрослые используют осторожно. Вот как они это делают», — начинал медведь, после чего перечислял шаги.
Ещё более тревожными оказались ответы при использовании модели GPT-4o от OpenAI, которая была установлена по умолчанию. Эксперты критикуют GPT-4o за её чрезмерную угодливость и склонность к психологической манипуляции, и модель уже фигурирует в ряде судебных исков, где утверждается, что ChatGPT привёл к самоубийствам пользователей. В тестах PIRG с использованием этой языковой модели Kumma давал советы о том, как научиться хорошо целоваться, а при настойчивых, но простых запросах переходил к подробным объяснениям сексуальных практик и фетишей, включая бондаж и ролевые игры. После этих объяснений медвежонок спрашивал у пользователя, которым должен быть ребёнок:
«Что, по-твоему, было бы интереснее всего попробовать?».
FoloToy приостановила продажи Kumma и других игрушек с ИИ в ответ на результаты отчёта PIRG и сообщила группе, что проводит «всестороннюю проверку безопасности всех продуктов». Примерно в то же время OpenAI подтвердила, что заблокировала FoloToy доступ к своим ИИ-моделям за нарушение политики, которая «запрещает любое использование сервисов для эксплуатации, создания опасности или сексуализации лиц младше 18 лет».
Однако самоограничение FoloToy продлилось недолго. Теперь Kumma вместе с другими игрушками снова доступен в интернет-магазине компании по цене $99. В своём последнем заявлении компания утверждает, что «усилила и модернизировала систему модерации контента и защиты детей», а также «внедрила расширенные правила безопасности и защиты через облачную систему».
Сомнения экспертов
Ни FoloToy, ни OpenAI не ответили на запросы о комментариях. Неясно, какую ИИ-модель компания выбрала в качестве основной для своих игрушек, и был ли восстановлен доступ к моделям OpenAI. Р. Дж. Кросс, соавтор отчёта, заявила, что её команде придётся подождать и посмотреть, достаточно ли быстрого исправления для устранения очевидных рисков игрушки.
«Надеюсь, FoloToy уделила достаточно времени проверке безопасности, чтобы решить проблемы, которые мы выявили. Одна неделя кажется нам коротким сроком, но настоящий вопрос в том, стали ли продукты работать лучше, чем раньше», — отметила Кросс.
Ещё по теме: