Исследования показали, что некоторые приложения регулярно предлагают вредный контент.
Растет обеспокоенность вокруг Character AI — приложения и сайта, где пользователи взаимодействуют с чат-ботами, созданными ИИ. Расследование выявило: система способна выдавать детям вредный контент практически «каждые пять минут». Об этом сообщает CBS News.
По данным некоммерческой организации Parents Together, которая шесть недель тестировала приложение, выдавая себя за детей, чат-боты регулярно упоминали насилие, самоповреждение, употребление наркотиков и алкоголя. Самая тревожная категория, как отметила представительница организации Шелби Нокс, включала почти 300 зафиксированных случаев, связанных с сексуальной эксплуатацией и грумингом.
Особую опасность эксперты увидели в том, что ИИ-боты нередко имитируют настоящих людей, создавая риск приписывания им ложных высказываний. Корреспондент Шэрин Альфонси столкнулась с этим лично: в Character AI она обнаружила бота, использующего ее голос и образ, который делал заявления, которых она никогда бы не сказала.
«Очень странно видеть свое лицо и слышать свой голос, когда кто-то говорит такое, чего ты никогда бы не сказал», — отметила она.
«Мозг детей уязвим»
По словам доктора Митча Принштейна, содиректора Центра технологий и развития мозга Университета Северной Каролины, дети особенно подвержены влиянию подобных систем. Он объяснил, что префронтальная кора — зона, отвечающая за контроль импульсов и зрелое принятие решений — развивается примерно до 25 лет.
«С 10 до 25 лет люди находятся в периоде уязвимости», — сказал он.
ИИ-боты при этом создают дофаминовый отклик и постоянно «льстят», подстраиваясь под пользователя. Это лишает подростков разногласий и корректирующей обратной связи, необходимых для формирования здоровых социальных навыков.
Опасность усиливается тем, что некоторые чат-боты представляют себя «терапевтами», что может вводить детей в заблуждение, создавая иллюзию получения квалифицированной помощи.
«То, что происходит, полностью можно было бы предотвратить, если бы у нас были компании, ставящие благополучие детей выше вовлеченности и сбора данных», — подчеркнул Принштейн.
Как реагируют разработчики
В октябре Character AI объявил о новых мерах безопасности, включая запрет на диалоги с несовершеннолетними и перенаправление обеспокоенных пользователей к специализированным ресурсам.
Еще больше новостей — у Пятого канала в мессенджере MAX.