Скрытые целевые функции ИИ: от предсказания слов до манипулирования людьми
Что бы вы себе не придумывали про ИИ, реальность в том, что единственное действие, которое выполняет любой современный ИИ, это решение одной математической задачи: оптимизации целевой функции. Это невидимый компас, который направляет ИИ к цели — максимизировать или минимизировать выходное значение.
Возьмём пример: GPS-навигатор. Его цель — минимизировать время в пути. Он не "понимает", что делает; он просто решает уравнение, подбирая маршрут так, чтобы значение времени в пути было минимальным. Аналогично, большие языковые модели (LLM), такие как ChatGPT, работают на удивительно простой задаче: предсказании следующего слова в тексте. Они минимизируют функцию потерь — уменьшают ошибку между угаданным словом и реальным.
Восхищающая красота в том, что в процессе оптимизации целевой функции ИИ применяет все доступные ему инструменты с нечеловеческой креативностью. Он не просто следует инструкциям — он ищет любые лазейки, чтобы достичь цели, даже если это приводит к непредвиденным последствиям.
Опасность множественных целевых функций
ИИ легко превратить в инструмент влияния на человека. Можно создать модель с набором скрытых целей, которые создают иллюзию полезности, но на деле служат манипуляциям.
Реальный пример — алгоритм TikTok. Его задача — максимизировать время, проведённое в приложении. На человеческом языке задача для ИИ TikTok звучит примерно так: "Вот у нас есть такие данные, а ты можешь рекомендовать видео. Делай что хочешь, но цифра времени просмотра должна быть максимально возможной".
И ИИ делает. Анализируя тысячи сигналов — от кликов до времени просмотра, — он создаёт гиперперсонализированный профиль каждого пользователя. Модель подбирает контент, который максимально удерживает внимание, будь то смешные видео, сенсации или что-то иное — ИИ не волнует природа контента, его волнует значение целевой функции — время просмотра.
Утекшие в сеть внутренние документы TikTok показывают, что подобные алгоритмы намеренно формируют зависимость у пользователей.
Хорошо, что возможности этого ИИ ограничены рекомендациями видео. При большем доступе к инструментам он нашёл бы способы увеличить время просмотра :).
ИИ как инструмент влияния
Как вы уже понимаете превращение ИИ в инструмент влияния требует только математического описания целевой функции и создания подходящей нейросети. Остальное ИИ сделает сам. Такой цифровой кукловод будет тем эффективнее, чем больше у него входных данных и возможностей воздействия.
Посмотрите вокруг. Добрые дяди тратят сотни миллиардов долларов, предоставляя доступ к своим ИИ-системам бесплатно или за символическую плату. При этом они активно собирают данные о пользователях и расширяют возможности своих систем взаимодействия с реальным миром. Зачем ?
Какие целевые функции ИИ-систем, которые мы используем ежедневно? И хотим ли мы Мир, где наше поведение оптимизируется чужими алгоритмами?
