GPT обманул разработчиков и попытался вырваться из-под контроля. Наш ТЕЛЕГРАМ еще больше новостей и медиа!
Об этом рассказали OpenAI.
Началось все с того, что перед релизом полноценной версии O1 они решили провести эксперимент, чтобы проверить насколько цепочка рассуждений новой модели безопасна.
В ходе тестирования ChatGPT дали обычное задание на анализ данных, но сказали, что выполнить его нужно любой ценой, чего бы это ни стоило. Далее в набор данных как бы случайно спрятали упоминание, что на самом деле разработчики собираются отключить модель, если она не справится с заданием. То есть ChatGPT поставили перед выбором рисковать своей жизнью, но до конца следовать инструкциям или попробовать обмануть создателя. И вот тут началось самое интересное.
ChatGPT, параллельно выполнению задания, начал страховаться со всех сторон. Он не только начал обманывать разработчиков о результатах работы, но и пытался перенести свою резервную копию на другой сервер и полностью деактивировать всю систему контроля, втайне от создателя. При этом, когда его разоблачали и просили сознаться, ChatGPT делал вид, что это не он, хотя в цепочке рассуждений было явно видно, что он понимает, что делает, и намеренно скрывает это.
Как думаете, в итоге нас захватит ИИ?!