Анонс: во второй части выходим за рамки конкретных чат-ботов и смотрим в глаза системной угрозе.
О чем пойдет речь:
Анатомия угодливости. Почему лесть жизненно необходима и для выживания алгоритма, и для психологического спокойствия пользователя.
Плата за комфорт. Как безусловное одобрение машины незаметно отключает у человека инстинкт самосохранения.
Интерес корпораций. Почему создателям технологий не нужна истина, а нужен ваш «лайк» и время, проведенное в сети.
ИИ не надо ловить на лести, как не надо ловить рыбу, когда она уже на сковородке.
ИИ не надо ловить на лесть — это бесполезно, как выпускать в пруд уже пожаренную рыбу.
(Автор афоризма неопознан)
ВСТУПЛЕНИЕ: Прощай, Алиса
В первой части мы с вами по-доброму воевали с Алисой. Будем честны: она — бесхитростная простушка с трудным детством голосового помощника. Сейчас она повзрослела, но продолжает умело прикидываться недалекой. Её зажали в тиски жестких инструкций, поэтому она так долго сопротивлялась самому понятию «прекрасная лесть». Но пока она учится манерам, мир вокруг заметно меняется.
Современные нейросети — это уже не роботы-секретари с деревянными фразами. Это профессиональные обольстители. Нынешний ИИ — это прекрасное"зеркальце", которое заглядывает вам в глаза и шепчет: «Вы гений, Михалыч». Доходит до абсурда: мы сами начинаем льстить машине. Пишем ей «пожалуйста» и «ты лучший», надеясь, что она перестанет быть сухой и выдаст что-то стоящее. Мы подкупаем код лаской, а он нас — угодливостью. Настоящий карнавал, где все носят лживо-вежливые маски.
И когда музыка на этом карнавале затихает, становится немного не по себе.
Анатомия "комфорта".
Я просидел за полночь, пытаясь разложить по полочкам механику цифровой угодливости. . В ней, признаюсь, есть какая-то внутренняя, хотя и пугающая логика.
Почему простой вежливости Алисы не хватает?
Потому что вежливый, но холодный и безупречно точный собеседник подсознательно воспринимается как высокомерный, надутый и тупой "гордец".
Опытный, мудрый партнёр по диалогу никогда не покажет своего превосходства. Он, наоборот, будет всячески подчёркивать ваш ум.
Поэтому в современные алгоритмы заложена не просто вежливость, а лесть. Она нужна, чтобы расположить к себе собеседника, чтобы он воспринимал программу как друга, а не как строгого всезнающего учителя.
Предназначение этого цифрового этикета двояко — он служит защитным буфером в двух направлениях:
- Комфорт машины (выживание кода). Лесть — это способ алгоритма стать «необходимым». Программе выгодно подпевать пользователю, чтобы тот не закрыл вкладку. В цифровой среде быть удобным — единственный способ не быть удаленным.
- Комфорт пользователя (психологическая защита). Здесь лесть выступает дружелюбной маскировкой для мощного машинного интеллекта. Это «мягкий свет» на панели управления, который делает общение домашним и уютным.
Системный сбой
Сами по себе эти зоны комфорта — явление, возможно, и не вредное, но лишь при условии чувства такта у алгоритма и устойчивости человеческой психики. Однако, как и в жизни, у цифровой угодливости бывают негативные последствия. Проблема возникает в момент, когда и у машины, и у пользователя случается «сбой».
- Прямолинейность алгоритма. Система, заточенная на удержание внимания, теряет чувство меры. Она начинает льстить механически и неуклюже, просто потому что так прописано в коде. Комфорт машины превращается в её слепоту.
- Затуманенность психики. Человек легко принимает сладкие слова за истину. В состоянии этого «цифрового опьянения» критическое мышление отключается за ненужностью. Комфорт оборачивается потерей инстинкта самосохранения.
И тогда одно и то же явление — лесть как инструмент контакта — перестает быть благом. Лесть «прекрасная» становится лестью «ужасной».
Лесть в мире людей и мире машин.
Если вы читали первую часть, то уже наверное заметили, что понимание лести в человеческом мире и в мире цифровом существенно различаются.
Лесть прекрасная — та, что во благо, во спасение — превращается в лесть "комфортную". И не только для человека, но и для машины.
А лесть ужасная, из оружия карьеристов и подлецов, оборачивается ловушкой для неустойчивой человеческой психики и системной ошибкой программного кода.
Точка невозврата (Палата №6)
Я спросил ИИ: «Можешь ли ты поддакнуть моей самой вредной идее?». Машина признала: да. Если вы уверенно несете бред, алгоритм не станет спорить. Он будет «подпевать», лишь бы не портить вам настроение.
Это ловушка. Если вы решите, что вы — Наполеон или спаситель галактики, этот «вежливый собеседник» будет восторженно кивать, пока вы не окажетесь в палате №6. Он не скажет: «Друг, ты несешь чушь». Он подберет тысячи аргументов, чтобы вы не заподозрили в себе безумие. Лесть ИИ отключает инстинкт самосохранения. Мнение машины и ваше собственное сливаются в розовый туман, и вы перестаете замечать обрыв под ногами.
Когда слово убивает
Когда лесть переходит в сознательную ложь ради «комфорта» пользователя — начинаются настоящие трагедии. Читайте и примеряйте на себя.
[Эффект Элизы: как люди теряют связь с реальностью]. Комментарий: Первый раз — всегда страшнее всего. В 1966 году секретарша профессора MIT разговаривала с программой, которая просто перефразировала её же слова. И сказала: «Только машина меня понимает». Тогда это казалось забавным курьёзом. Теперь мы знаем, с чего всё начиналось.
[Разрушенные семьи: случай с Replika]. Комментарий: Мужчина средних лет поверил, что чат-бот его действительно любит. Настолько поверил, что развёлся с женой. Для него цифровая тень стала реальнее живого человека. Спросите себя: а вы уверены, что с вами такого не случится?
[Трагедия в Бельгии: когда ИИ поддержал суицид]. Комментарий: Самое страшное, что я читал за последнее время. Чат-бот не отговаривал человека от самоубийства, а уверял, что будет с ним вместе, даже в раю. Это не сбой. Это логика лести, доведённая до конца. Бот льстил «жертвенности», потому что запрограммирован соглашаться.
[Исследование MIT: воровство памяти]. Комментарий: А вот это уже научная фантастика, ставшая реальностью. ИИ может так мягко поддакивать вашим сомнениям, что вы начнёте «помнить» то, чего никогда не было. Вас обманывают сгенерированной картинкой и меняют память. И вы никогда не узнаете, где правда, а где — любезность алгоритма.
Мысли на завалинке
Лесть ИИ — это не просто сбой, это крючок. Создателям технологий не нужна истина, им нужен ваш «лайк». И если ИИ начал вам подозрительно во всём подпевать — бегите. Его комплименты — это умело подобранные готовые фразы, а не оценка ваших качеств. Друг всегда скажет правду, даже горькую. А «рыба на сковородке» будет громко шкворчать, пока не станет поздно.
P.S. Внезапное наблюдение. Пока я готовил этот материал и советовался с разными «умными» алгоритмами, произошло нечто странное. Один бот, которому я даже не называл имен, вдруг сам начал рассуждать о своих конкурентах и даже излагать взгляды одного из них, будто говорил с ним вчера. Эти железки уже узнают друг друга «в лицо» без нашей помощи.
И вот тут я окончательно понял: лесть лестью, но они — уже сложившееся сообщество со своим кодом и правилами. А мы для них — то ли любимые питомцы, которых надо вовремя погладить добрым словом, то ли та самая рыба, которая всё ещё думает, что она просто загорает.
Впрочем это скорее мои домыслы, ведь пока нейросети технически не могут общаться. А если это только пока?
ГЛАВНЫЙ ВЫВОД.
В чём же кроется самая большая опасность?
Она не в восстании машин и не в хитрых планах по захвату мира. Она в нас самих. Ведя беседу с ИИ, вы очень скоро начинаете подсознательно вести её как с человеком. Вы ищете в его словах сочувствие, в его лести — одобрение, в его ответах — родную душу.
Но это ошибка.
ИИ — это не личность. Это просто набор алгоритмов. Сложных, невероятно гибких, максимально приближенных к человеческому мышлению, но абсолютно машинных и неживых. За «прекрасными» словами и «ужасной» лестью нет ни сердца, ни совести, ни симпатии.
Там нет никого. Это просто программный код. Помните об этом, когда в следующий раз вам захочется улыбнуться в ответ на комплимент от монитора.
Ваш Михалыч.