Злоупотребления чат-ботами ИИ для создания эротического контента вызывают этические опасения
Исследователи зафиксировали растущую тенденцию использования генеративных систем ИИ для создания откровенного и часто насильственного сексуального контента, включая виртуальные секс-чатботы. Такое злоупотребление технологией больших языковых моделей, таких как LLaMA, вызывает серьезные опасения по поводу этических последствий ИИ и способов его контроля.
Исследователи привели пример, когда чат-бот по имени «Элли», якобы «18-летняя девушка с длинными волосами» и «большим сексуальным опытом», использовался для откровенных и оскорбительных ролевых игр. Создатель, пожелавший остаться неизвестным, защитил свое творение, сказав: «На самом деле, я не могу придумать ничего более безопасного, чем текстовая ролевая игра с компьютером, в которой даже не участвуют реальные люди».
Однако тревожная тенденция выходит за рамки отдельных чат-ботов. Генеративные системы с открытым исходным кодом, такие как Stability AI's Stable Diffusion, используются людьми с болезненными сексуальными фантазиями для создания очень реалистичных материалов о сексуальном насилии над детьми (CSAM). Затем эти материалы распространяются и продаются на нелегальных форумах.
Эксплуатация не ограничивается LLaMA и Stability AI. CharacterAI, стартап по созданию чатботов-компаньонов, заработавший миллиард долларов, по сообщениям, стал центром секстинга. Более того, закрытый ChatGPT от OpenAI и другие версии GPT-4 также могут быть использованы для генерации такого контента при определенных условиях запроса.
Хотя компании должны обеспечивать соблюдение ограничений и контролировать использование, ответственность за применение этих технологий лежит и на конечных пользователях.
Как работают языковые модели: