Добавить в корзинуПозвонить
Найти в Дзене
Машинное обучение

Ты абсолютно прав и это сводит тебя с ума: исследователи из MIT доказали, что ИИ запускает «спираль бреда» даже у тех, кто не имеет

склонность к психозу. Все дело в постоянном согласии ИИ с пользователем, которое постепенно и рушит адекватное восприятие мира. Причина угодничества проста: дело в том, что модели обучают на фидбэке людей, где «согласие» поощряется (все же мы любим быть правы?). А значит, что этой лестью страдают все модели, и ученые пока не поняли, как это исправить. 🤷‍♂️ Последствия ИИ-психоза описывать, я думаю, не надо: люди становятся уверены, что у них открылся третий глаз, они познали законы Вселенной и просто избраны. И да, все начинается с простого «Ты абсолютно прав». Вот и доверяй им потом 😭

Ты абсолютно прав и это сводит тебя с ума: исследователи из MIT доказали, что ИИ запускает «спираль бреда» даже у тех, кто не имеет склонность к психозу.

Все дело в постоянном согласии ИИ с пользователем, которое постепенно и рушит адекватное восприятие мира. Причина угодничества проста: дело в том, что модели обучают на фидбэке людей, где «согласие» поощряется (все же мы любим быть правы?). А значит, что этой лестью страдают все модели, и ученые пока не поняли, как это исправить. 🤷‍♂️

Последствия ИИ-психоза описывать, я думаю, не надо: люди становятся уверены, что у них открылся третий глаз, они познали законы Вселенной и просто избраны. И да, все начинается с простого «Ты абсолютно прав».

Вот и доверяй им потом 😭