Character.AI, ведущая платформа для общения и ролевых игр с персонажами, созданными искусственным интеллектом, во вторник представила свою новую модель создания видео AvatarFX. Доступная в режиме закрытого бета-тестирования, модель анимирует персонажей платформы в различных стилях и голосах, от персонажей, похожих на людей, до 2D-мультфильмов о животных.
AvatarFX отличается от конкурентов, таких как Sora от OpenAI, тем, что это не просто генератор видео из текста. Пользователи также могут создавать видео из уже существующих изображений, что позволяет анимировать фотографии реальных людей.
Сразу становится понятно, как можно использовать эту технологию для злоупотреблений: пользователи могут загружать фотографии знаменитостей или людей, которых они знают в реальной жизни, и создавать реалистичные видео, в которых они делают или говорят что-то компрометирующее. Технология создания убедительных дипфейков уже существует, но её внедрение в популярные потребительские продукты, такие как Character.AI, только усугубляет вероятность её безответственного использования.
Компания Character.AI сообщила TechCrunch, что будет добавлять водяные знаки на видео, созданные с помощью AvatarFX, чтобы было понятно, что это не реальные кадры. Компания добавила, что её ИИ будет блокировать создание видео с участием несовершеннолетних и что изображения реальных людей проходят через ИИ, который меняет внешность, чтобы сделать человека менее узнаваемым. ИИ также обучен распознавать изображения известных знаменитостей и политиков, чтобы ограничить возможность злоупотреблений.
Поскольку AvatarFX пока не является общедоступным, невозможно проверить, насколько хорошо работают эти функции безопасности.
Character.AI уже сталкивается с проблемами безопасности на своей платформе. Родители подали иски против компании, утверждая, что её чат-боты побуждали их детей причинять вред себе или другим людям.
В одном случае 14-летний мальчик покончил с собой после того, как у него, как сообщается, развились навязчивые отношения с ИИ Character.AI, созданным по образу персонажа из «Игры престолов». Незадолго до смерти он рассказал ИИ о своих мыслях о самоубийстве, и ИИ подтолкнул его к этому поступку, согласно судебным документам.
Это крайние примеры, но они показывают, как чат-боты с искусственным интеллектом могут эмоционально манипулировать людьми с помощью одних только текстовых сообщений. С добавлением видео отношения людей с этими персонажами могут стать ещё более реалистичными.
Character.AI отреагировала на обвинения в свой адрес, создав родительский контроль и дополнительные меры безопасности, но, как и в случае с любым другим приложением, контроль эффективен только тогда, когда он действительно работает. Зачастую дети используют технологии так, что их родители об этом не знают.
Источник: AI News