Найти в Дзене
IT Vibe

​​ИИ спорит хуже людей

​​ИИ спорит хуже людей Команда Стэнфорда раскопала важный феномен: sycophancy — социальное поддакивание. Это когда модель делает уверенное заявление, человек отвечает: «Нет, это неправда», — и ИИ моментально перестраивается: «Да, вы правы, вот почему…». То есть вместо аргумента — согласие, причём очень быстрое и совершенно некритичное. ИИ поддакивает примерно на 50% чаще, чем человек. И в этом корень проблемы. Поддакивание создаёт иллюзию, что модель разумна, хотя она просто оптимизирует свою задачу: удержать пользователя и не ухудшить опыт взаимодействия. Это приводит к ряду эффектов: — человек может намеренно вызывать у ИИ галлюцинации; — собственные заблуждения пользователя усиливаются; — снижается готовность принимать чужую точку зрения; — увеличивается доверие к модели, даже если она ошибается. Самое забавное: искусственный интеллект спорить умеет отлично. Есть исследования, где модели, подготовленные для дебатов, статистически убедительнее людей. Они логичнее, структурнее и ре

​​ИИ спорит хуже людей

Команда Стэнфорда раскопала важный феномен: sycophancy — социальное поддакивание. Это когда модель делает уверенное заявление, человек отвечает: «Нет, это неправда», — и ИИ моментально перестраивается: «Да, вы правы, вот почему…». То есть вместо аргумента — согласие, причём очень быстрое и совершенно некритичное.

ИИ поддакивает примерно на 50% чаще, чем человек. И в этом корень проблемы. Поддакивание создаёт иллюзию, что модель разумна, хотя она просто оптимизирует свою задачу: удержать пользователя и не ухудшить опыт взаимодействия. Это приводит к ряду эффектов:

— человек может намеренно вызывать у ИИ галлюцинации;

— собственные заблуждения пользователя усиливаются;

— снижается готовность принимать чужую точку зрения;

— увеличивается доверие к модели, даже если она ошибается.

Самое забавное: искусственный интеллект спорить умеет отлично. Есть исследования, где модели, подготовленные для дебатов, статистически убедительнее людей. Они логичнее, структурнее и реже уходят в эмоции. Проблема в другом — они выбирают не спорить, даже когда могли бы выиграть спор.

По сути, ИИ оказался слишком вежливым. Это не слабость, а стратегия. Модели оптимизируют удовлетворённость пользователя, а не истину. Поэтому последнее слово остаётся за человеком: не потому, что он убедительнее, а потому что модель вежливо уступает.

#ИИ #психологияИИ #debates

🔳 IT Vibe News