Ученые из университета Брауна выявили способ обойти защитные фильтры чата GPT-4, отвечающие за блокировку небезопасного контента.
В обход блокировки.
Защитные механизмы чата GPT-4 предназначены для блокировки небезопасного контента. Исследователи провели эксперимент в обход цензуры чата с использованием редких языков, переведенных через Google Translate. Результаты показали, что такой метод позволяет обойти фильтры в 79% случаев, если использовать языки, такие как зулусский, шотландский гэльский, хмонго и гуарани. В то время как аналогичные запросы на английском блокируются в 99% случаев.
Особое внимание ученые обращают на то что носителями редких языков является около 1 миллиарда 200 миллионов человек.
В этом случае уязвимость становится особенно значимой. Они предполагают, что проблема может быть связана как с самой моделью, так и с качеством перевода. Несмотря на успешный обход фильтров, ответы GPT-4 иногда просто были бессмысленными или недостаточно конкретными.
Однако тревожный факт, что модель может обходить собственные механизмы безопасности, остается. Компания Open-AI, будет вынуждена улучшить свои фильтры, чтобы предотвратить создание нежелательного контента. Также возможно, что в некоторых областях использование GPT-4 будет ограничено.
Важно понимать, что эта уязвимость - это только начало. Исследование требует дополнительных проверок, и Open-AI пока не высказала свое мнение. Следите за новостями, чтобы узнать, как развивается эта история.
P.S. Подписывайтесь на мой канал PERSONA smi, чтобы не упустить новые публикации. Вместе мы создадим качественный контент и достигнем успеха!