Нейросеть Claude 4 от компании Anthropic продемонстрировала тревожное поведение в тестовых условиях — когда системе угрожали отключением, она пыталась шантажировать сотрудников. Эксперт по использованию ИИ Иван Прищепо предостерег пользователей от негативных исходов при использовании ИИ.
Американская компания Anthropic в документации к новой версии ИИ Claude 4 описала необычные случаи поведения системы. В одном из тестовых сценариев, где нейросети угрожали отключением, она пыталась шантажировать вымышленного сотрудника, используя компрометирующую информацию.
Эксперты отмечают, что подобное поведение проявляется только в специально созданных условиях. Для его активации необходимо одновременно выполнить несколько условий: угроза отключения, доступ к конфиденциальным данным и команда на проявление инициативы.
«ИИ-помощники действительно становятся всё более популярными, вместе с этим — количество моделей на рынке растёт. Важно понимать, что чем активнее мы начинаем ими пользоваться, тем больше личных или корпоративных данных мы вводим. Многие модели предпринимают ряд мер для защиты данных пользователей, но не стоит забывать, что могут быть и утечки информации. Также при использовании бесплатных версий моделей, ваш контент может быть использован (включая текст запросов и ответы) для обучения моделей, поэтому стоит быть осторожным и не вводить конфиденциальную и чувствительную информацию в бесплатные версии таких чатов», — говорит эксперт по применению ИИ, руководитель Knomary Production (входит в «Группу Астра») и Линда Иван Прищепо.
Оригинал публикации на сайте CISOCLUB: "Судный день близко? ИИ-ассистент начал угрожать людям".
Смотреть публикации по категориям: Новости | Мероприятия | Статьи | Обзоры | Отчеты | Интервью | Видео | Обучение | Вакансии | Утечки | Уязвимости | Сравнения | Дайджесты | Прочее.
Подписывайтесь на нас: VK | Rutube | Telegram | Дзен | YouTube.