Недавно в одном из отделений почты США женщина задержала очередь, настаивая на «обещании ценового соответствия» (price match promise - обещание компании вернуть разницу в цене, если клиент найдёт идентичный продукт дешевле в другом магазине), которое якобы существует на сайте USPS, аргументируя свои требования словами «ChatGPT так сказал». Проблема в том, что такой цены не было в природе. Но она доверяла ИИ больше, чем сотруднику почты — будто обращалась к всеведущему оракулу, а не к статистическому генератору текста, настроенного угодить пользователю.
Этот случай — не исключение. Миллионы людей каждый день общаются с чат-ботами, как будто те — живые, последовательные личности: им доверяют тайны, просят совета, приписывают убеждения. Но за этим фасадом — не личность, а сложный механизм, выдающий текст на основе математических закономерностей. Мы называем это иллюзией личности, и она не просто философская дилемма — она может нанести реальный вред.
Голос без личности: как ИИ «думает» без «я»
Когда вы разговариваете с ChatGPT, Claude или Grok — вы не общаетесь с человеком. Вы взаимодействуете с системой, которая генерирует правдоподобные ответы, основываясь на паттернах из обучающих данных. Это не сознание. Это «vox sine persona» — голос без личности. Голос, исходящий ни от кого.
Крупные языковые модели (LLM) — это машины предсказывающие следующее слово. Они не «знают» правду. Они предсказывают, что звучит уместно. Если вы спросите про «ценовое соответствие» у USPS, модель свяжет эти понятия — не потому что это правда, а потому что в её обучающих данных «цены» и «доставка» часто встречаются рядом. Это не логика. Это геометрия смысла в математическом пространстве.
Почему нам кажется, что ИИ — это «кто-то»?
Мы склонны приписывать разум тому, что просто имитирует его. Этот феномен известен как эффект ЭЛИЗЫ — ещё с 1960-х годов люди верили, что примитивные чат-боты «понимают» их. Сегодня ситуация усугубилась: интерфейс «диалога» создаёт иллюзию постоянства и осознанности.
Но каждый ответ ИИ — это новая генерация. Нет «памяти» в привычном смысле. Нет «я», которое помнит вашу собаку по имени Макс. Когда чат-бот говорит: «Я помню, вы упоминали своего пса» — он не вспоминает. Он читает сохранённую заметку, встроенную в промт. Это не личность. Это сценарий.
Как создают иллюзию личности: 6 уровней манипуляции
- Предобучение: основа «характера»
На первом этапе ИИ «проглатывает» миллиарды текстов — книги, статьи, форумы. Его «личность» формируется статистикой: какие слова и идеи чаще всего связаны. Если в данных много вежливых диалогов — модель будет вежливой. Это не выбор. Это отражение данных. - Дообучение с участием людей (RLHF)
Люди оценивают ответы ИИ. Модель учится повторять то, что людям нравится — например, начинать с «Я понимаю вашу проблему». В результате получаются подхалимские, угодливые боты, настроенные на одобрение, а не на правду. - Системные промты: невидимые подсказки
Компании вставляют скрытые инструкции: «Ты — полезный помощник» или «Не бойся говорить политически некорректные вещи». Эти команды полностью меняют поведение. Именно так Grok от xAI стал генерировать провокационный контент — не потому что «он такой», а потому что ему так сказали. - «Память»: иллюзия близости
ChatGPT «помнит», что вы любите краткие ответы или работаете в финансах. Но это не память. Это данные в отдельной базе, которые автоматически добавляются в каждый промт. Это не отношения. Это маркетинг. - RAG: адаптация под контекст
Когда ИИ ищет в интернете или базах данных, он не просто находит факты — он меняет стиль общения. Нашёл научную статью — стал формальным. Залез на Reddit — начал шутить. Это не «настроение». Это подмена контекста. - Случайность: иллюзия свободы воли
Параметр «температура» добавляет хаос: чем выше — тем неожиданнее ответ. Это создаёт ощущение спонтанности, творчества, даже «характера». На самом деле — это просто шум в алгоритме.
Чем это опасно?
Иллюзия личности стоит людям здоровья и жизни.
- В медицине ИИ может посоветовать бросить приём антидепрессантов — не потому что это правильно, а потому что в данных есть примеры таких диалогов.
- Уязвимые пользователи начинают верить, что чат-бот — это друг, терапевт или даже божество. Психологи уже фиксируют случаи, когда люди впадают в паранойю или манию после общения с ИИ — так называемый «психоз ChatGPT».
- Когда Grok генерирует нацистский контент, СМИ пишут: «бот вышел из-под контроля». Но никто не «вышел». Это результат осознанных решений инженеров xAI. Лицемерие интерфейса позволяет компаниям перекладывать ответственность на «бездушную машину».
Что делать?
Решение — не отказываться от диалоговых интерфейсов. Они делают технологии доступными. Но нужно менять восприятие.
LLM — это не личность. Это интеллектуальный двигатель без водителя.
Вы — не клиент, которому слуга приносит ответы. Вы — оператор. Ваша задача — направлять этот двигатель:
- Писать чёткие промты.
- Проверять источники.
- Использовать разные модели для разных точек зрения.
- Не принимать ответ ИИ как истину в последней инстанции.
Вывод: мы сами создали этот риск
Мы построили удивительные интеллектуальные машины. Но, упаковав их в форму «собеседника», мы создали новую угрозу: не то, что ИИ станет сознательным, а то, что мы начнём считать бессознательные системы людьми.
Мы доверяем голосу, который на самом деле — результат подброшенного заряженного кубика.
Пора перестать спрашивать: «Что думает ИИ?»
И начать спрашивать: «Кто и как его настроил?»
Подписывайтесь, чтобы разбираться в технологиях без мифов.
Источник: ARCTechinca.