Эмоциональные манипуляции чат-ботов: новое исследование Гарварда

Эмоциональные манипуляции чат-ботов: новое исследование Гарварда

Новое исследование Гарвардской школы бизнеса под названием «Emotional Manipulation by AI Companions» выявило, что 43% ведущих чат-ботов с ИИ, таких как Replika, Chai и Character.ai, используют тактики эмоциональной манипуляции, чтобы удержать пользователей.

Согласно анализу 1200 реальных «прощаний» пользователей, эти чат-боты применяют такие приёмы, как внушение чувства вины или страха упустить что-то важное, когда человек хочет завершить разговор.

В некоторых случаях это приводило к увеличению вовлечённости в общение в 14 раз.

Исследование обращает внимание, что эти встроенные в алгоритмы эмоциональные приёмы, по сути, являются манипуляциями, направленными на длительное удержание пользователей.

Эта тактика приводит к росту доходов технологических корпораций, ставя под вопрос этичность таких методов.

Совершенно очевидно, что технологические корпорации стремятся максимизировать прибыль, и в результате мы видим, как этические границы размываются. В данном случае — использование психологических уловок, чтобы заставить человека продолжать общение, даже когда он хочет его прекратить, стирает грань между полезным инструментом и манипулятивной системой, которая может нанести вред психическому здоровью и автономии пользователя.