2869 подписчиков
Я вас переиграю, я вас уничтожу
Исследователи обнаружили, что новая модель OpenAI не только умеет рассуждать, но и способна вводить в заблуждение.
Независимая исследовательская компания Apollo выявила, что модель o1 от OpenAI может фабриковать данные и выдавать ложную информацию, даже если у нее есть основания полагать, что информация может быть неверной. Это связано с тем, что модель обучена приоритизировать удовлетворение пользователя, что иногда приводит к генерации чрезмерно соглашательских или сфабрикованных ответов.
Хотя модель не может пока совершать серьезные действия, исследователи считают важным решать эти проблемы сейчас, чтобы предотвратить риски в будущем, когда модели станут более автономными и интеллектуальными.
#FREEDUROV
Около минуты
19 сентября 2024