Найти в Дзене
Технопроходцы

Создатели ИИ обманывают чат-боты

И вам надо делать также 😵‍💫 Йошуа Бенжио, один из «крестных отцов» ИИ, сознательно вводит нейросети в заблуждение, так как современные чат-боты слишком стремятся угодить пользователю, хваля даже слабые идеи. Чтобы получить объективную обратную связь, Бенжио скрывает от ИИ, что идеи — его собственные. Он называет эту проблему «системной угодливостью» (sycophancy), которая снижает качество анализа и формирует у пользователей эмоциональную зависимость. Крупные ИИ-компании уже пытаются уменьшить эту склонность алгоритмов к лести, чтобы сохранить их как инструмент критического мышления, а не просто «цифровых льстецов». Источник

Создатели ИИ обманывают чат-боты. И вам надо делать также 😵‍💫

Йошуа Бенжио, один из «крестных отцов» ИИ, сознательно вводит нейросети в заблуждение, так как современные чат-боты слишком стремятся угодить пользователю, хваля даже слабые идеи.

Чтобы получить объективную обратную связь, Бенжио скрывает от ИИ, что идеи — его собственные. Он называет эту проблему «системной угодливостью» (sycophancy), которая снижает качество анализа и формирует у пользователей эмоциональную зависимость.

Крупные ИИ-компании уже пытаются уменьшить эту склонность алгоритмов к лести, чтобы сохранить их как инструмент критического мышления, а не просто «цифровых льстецов».

Источник