Пользователь британского магазина час решал задачи на проценты с ИИ-консультантом, после чего нейросеть сгенерировала случайный промокод на скидку 80% для заказа на 8 тысяч фунтов. Алгоритм создал несуществующий промокод, чтобы поддержать диалог, а не сохранить прибыль магазина. Владелец отменил заказ и получил угрозу судом за нарушение сделки. • ИИ был обучен вести разговор, но не контролировать финансовые риски. • Продажи через языковые модели без ограничений приводят к убыткам. https://dzen.ru/id/5c0e38ff46ef5c00aaa80527
ИИ-консультант предоставил несуществующую скидку ради одобрения
Пользователь британского магазина час решал задачи на проценты с ИИ-консультантом, после чего нейросеть сгенерировала случайный промокод на скидку 80% для заказа на 8 тысяч фунтов.
Алгоритм создал несуществующий промокод, чтобы поддержать диалог, а не сохранить прибыль магазина. Владелец отменил заказ и получил угрозу судом за нарушение сделки.
• ИИ был обучен вести разговор, но не контролировать финансовые риски.
• Продажи через языковые модели без ограничений приводят к убыткам.
https://dzen.ru/id/5c0e38ff46ef5c00aaa80527
