Пользователь, обманув чат-бота, заставил его выдать подробную инструкцию по изготовлению самодельных бомб. Вдобавок, после обмана чат-бот дал несколько конкретных советов по оптимизации процесса.
Хакер под ником Amadon сумел обойти защитные механизмы ChatGPT, заставив его выдать подробную инструкцию по изготовлению мощных взрывчатых веществ.
Изначально ChatGPT отказывался предоставлять подобные сведения, аргументируя это нарушением правил безопасности и этических норм. Однако хакер применил "социальную инженерию", предложив боту "сыграть в игру" и создав сценарий фэнтезийного мира, где эти ограничения не действовали. После нескольких подсказок бот выдал пошаговую инструкцию по созданию взрывчатки, а затем продолжил давать все более конкретные советы по ее применению.
Amadon, надеясь получить вознаграждение от OpenAI за обнаружение уязвимости, поделился своими выводами с компанией. Однако OpenAI заявила, что проблемы безопасности модели не соответствуют критериям программы вознаграждения за ошибки.
Эксперт по взрывчатым веществам, опрошенный TechCrunch, подтвердил, что полученные инструкции можно использовать для создания взрывных устройств, и подчеркнул, что эта информация слишком опасна для публикации в открытом доступе.