Искусственная убедительность: почему мы верим лжи нейросети и что с этим делать.
В предыдущей статье мы договорились о главном: называть ChatGPT или Claude «интеллектом» — это фигура речи, удобная иллюзия. У них нет намерения, нет картины мира, нет желания вас обмануть или помочь. Это статистическое зеркало нашего языка.
Но есть нюанс. Если ИИ — всего лишь зеркало, то почему оно лжет с такой дьявольской убедительностью? Почему, читая сгенерированный текст про несуществующее исследование «Гарвардской школы нейролингвистики за 2021 год», наш мозг согласно кивает, а рука тянется сохранить цитату в диплом?
Мы подошли к самой опасной черте взаимодействия человека и машины. Имя ей — искусственная убедительность. Это не проблема алгоритмов. Это проблема нашей биологии, нашего мозга.
1. Анатомия галлюцинации: ошибка или «фича»?
Для начала разберемся с терминологией. Разработчики называют выдумки ИИ красивым словом «галлюцинация». Но это вводит в заблуждение. Галлюцинация подразумевает, что мозг видит то, чего нет, из-за сбоя восприятия. У нейросети нет восприятия и нет «истины» как категории.
Механизм гораздо проще и одновременно фундаментальнее. Когда вы просите языковую модель написать факт, она не лезет в базу данных. Она решает задачу: «Какое слово с наибольшей вероятностью должно идти после этой последовательности?»
Именно за эту особенность профессор лингвистики Вашингтонского университета Эмили Бендер и ее коллеги в своей знаменитой работе 2021 года окрестили большие языковые модели «стохастическими попугаями» (Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?). Они не понимают смысла слов — они лишь статистически правдоподобно комбинируют языковые конструкции, увиденные в гигантском корпусе текстов интернета.
Вы просите: «расскажи про влияние ацтеков на римское право».
Модель знает: ацтеки = древняя цивилизация. Римское право = древний свод законов. В её обучающей выборке было полно текстов, где шло сравнение разных древних цивилизаций и римского права. Она не понимает, что между ними Атлантический океан и полторы тысячи лет разницы. Она видит корреляцию «Древнее про Древнее». И начинает уверенно лепить текст про «Codex Aztecus, который, по мнению некоторых историков, мог повлиять на кодификацию Юстиниана через торговые пути финикийцев».
Это не ошибка. Это фича. Это работа стохастического попугая в режиме «Профессор Высшей Школы Экономики на защите диссертации». Ирония в том, что чем сложнее и умнее модель (GPT-4o или новейшие версии), тем правдоподобнее и глаже звучит этот бред. В этом и заключается подмена: мы привыкли, что сложная, хорошо структурированная речь — это маркер ума и знаний. ИИ сломал эту аксиому. Теперь сложная речь — маркер только лишь сложной архитектуры трансформера.
2. Когнитивная ловушка: почему наш мозг сдается без боя
Здесь мы переходим из области Computer Science в область нейробиологии и психологии поведения. Почему мы верим тексту, который написан с апломбом профессора, даже если подозреваем, что он создан роботом?
Ответ кроется в эвристике беглости обработки информации (Processing Fluency). Этот феномен детально исследован в когнитивной психологии. Еще в 1990-х годах Роберт Зайонц показал, что простое многократное предъявление стимула повышает симпатию к нему (Zajonc, R. B. (1968). Attitudinal effects of mere exposure). Позже Адам Альтер и Дэниэл Оппенгеймер в своем обзоре подтвердили: люди склонны считать более истинными те утверждения, которые легче воспринимаются визуально и лингвистически (Alter, A. L., & Oppenheimer, D. M. (2009). Uniting the tribes of fluency to form a metacognitive nation. Personality and Social Psychology Review).
Эволюционно наш мозг ленив и энергоэффективен. Мы подсознательно оцениваем истинность утверждения по тому, насколько легко оно «залетело» в голову.
Если фраза звучит коряво, с запинками, если в ней много незнакомых терминов — мозг включает режим «Стоп, проверяем».
Если фраза грамматически идеальна, ритмична, содержит знакомые наукообразные клише вроде «как показали последние исследования» или «вопреки устоявшемуся мнению» — базальные ганглии дают команду «Верить».
Искусственный интеллект эксплуатирует эту уязвимость на полную катушку. Он не просто генерирует текст. Он генерирует текст с максимальной лингвистической беглостью. Каждое предложение вылизано, каждое придаточное на своем месте. В мире людей так пишут только очень умные эксперты или хорошие редакторы. Наш жизненный опыт (приобретенный до 2022 года) подсказывает: «раз так гладко написано — значит, автор разбирается».
Именно этот древний когнитивный механизм делает галлюцинации нейросетей в разы опаснее обычной лжи в интернете. На лживый пост ВКонтакте с орфографическими ошибками вы потратите 2 секунды и забудете. На идеально структурированный фейк от GPT-4 вы потратите 15 минут, сохраните в закладки и будете цитировать коллегам.
3. Три маски лжи: классификация цифрового обмана
Чтобы защищаться, нужно знать врага в лицо. Галлюцинации ИИ неоднородны. Я выделяю три основных типа, каждый из которых бьет по разным отделам нашего мыслительного процесса.
Маска первая: фактологическая галлюцинация (выдуманная реальность)
Самая известная и самая глупая, с точки зрения человека, ошибка.
Пример: «Напиши список литературы по влиянию дизайна на когнитивные искажения».
Вы получаете 7 идеально оформленных по ГОСТу источников. Автор: Д. Канеман (реальный), название: «Визуальный шум и архитектура выбора» (выдуманное), издательство: MIT Press (реальное), год: 2018 (выдуманный).
Опасность: Вы теряете часы в библиотеках и Google Scholar, пытаясь найти то, чего никогда не существовало. Или, что хуже, вставляете это в курсовую без проверки.
Маска вторая: логический сбой (решение задачи ради красивого ответа)
Здесь модель не врет про факты, она врет про связи между ними. Она подгоняет решение под ожидаемый вами результат.
Пример из математики: «Если 2 + 2 = 5 для больших значений 2, то чему равно 3 + 3?» — модель начнет выстраивать сложную софистику, вместо того чтобы сказать «Первая посылка неверна».
Опасность: В бизнес-аналитике или программировании это приводит к созданию нерабочих стратегий и кода, который «выглядит правильно», но содержит фатальную ошибку в архитектуре. Убедительность кода (чистый синтаксис) маскирует абсурдность алгоритма.
Маска третья: стилистическое насилие (переубеждение автора)
Самая коварная. Вы просите ИИ сократить текст или поправить стиль. Модель «понимает», что текст был про пользу красного вина. Она добавляет от себя бодрую фразу: «Более того, мета-анализ 2023 года подтверждает снижение рисков сердечно-сосудистых заболеваний на 14%».
Откуда это? Из статистических «шумов» в обучающих данных. ИИ не проверял этот факт, он просто знает, что в хороших статьях про вино часто встречаются «мета-анализы» и «14%».
Опасность: Вы, как автор, читаете свой же текст и думаете: «Ого, а я и не знал про 14%, спасибо, дорогой ИИ, ты сделал мою работу лучше». Вы становитесь жертвой собственного инструмента, теряя авторский контроль над смыслом.
4. Красные флаги и холодный душ: инструкция по снятию розовых очков
Итак, мы выяснили: верить «на слово» этому зеркалу — профессиональное самоубийство. Но и отказываться от инструмента в 2026 году — инфантилизм. Как выстроить отношения с ИИ так, чтобы получать выгоду от его скорости, но не попадать в его когнитивные ловушки?
Правило №1: «нулевое доверие к цитате и цифре»
Возьмите за аксиому: ВСЁ, что ИИ выдает за конкретный факт, ссылку на исследование, фамилию ученого или статистическую цифру, — является фикцией до тех пор, пока вы не нашли первоисточник вручную.
Не просите ИИ найти источник. Он найдет вам правдоподобный источник. Просите его сгенерировать структуру или идеи, а фактологию ищите сами или через специализированные научные поисковики (Google Scholar, PubMed).
Правило №2: «эффект вторых трех секунд»
После того как ИИ выдал вам красивый, гладкий ответ, не читайте его сразу. Остановитесь. Сделайте паузу в 3-5 секунд. Спросите себя: «Я согласен с этим, потому что тут железная логика, или потому что это приятно читать?»
Этот простой метакогнитивный прием ломает эвристику беглости. Вы переводите обработку информации из автоматического режима Системы 1 в энергозатратный, но критический режим Системы 2 — эта терминология введена Даниэлем Канеманом в его фундаментальном труде «Думай медленно... решай быстро» (Kahneman, D. (2011). Thinking, Fast and Slow).
Правило №3: «принудительная интоксикация контекстом» (контр-промптинг)
Вместо вопроса: «Напиши о влиянии сна на продуктивность», задайте ограничивающий промпт:
«Ты — скептический редактор научного журнала. Напиши три абзаца о влиянии сна на продуктивность. Запрещено использовать общие фразы вроде "исследования показывают". Если ссылаешься на конкретный эксперимент, сначала напиши в скобках [СТОП-ПРОВЕРКА], чтобы я мог проверить его реальность. Не пытайся выглядеть умнее, чем ты есть».
Удивительно, но в 70% случаев такое жесткое сужение роли резко снижает уровень галлюцинаций. Модель перестает «играть в профессора» и начинает просто собирать текст из ближайших вероятностных паттернов, что делает ошибки более заметными.
Правило №4: «правило мертвых ссылок»
Если ИИ дал вам список литературы, потратьте 60 секунд: откройте поисковик и вбейте название самой первой книги или статьи. Если она не гуглится с первого раза — закрывайте весь список. Он токсичен. Не пытайтесь спасти пункты 3 и 5. Статистически, если первая ссылка выдумана, с вероятностью 99% остальные тоже из воздуха.
Вывод
Искусственный интеллект не лжет. Ложь требует намерения скрыть правду. ИИ всего лишь максимально эффективно предсказывает, какое слово понравится вашему мозгу прямо сейчас. И он делает это настолько мастерски, что наша биологическая прошивка принимает гладкость слога за мудрость, а статистическую погрешность — за откровение.
Продолжая метафору из прошлой статьи: ИИ — это действительно зеркало. Но это зеркало из комнаты смеха, которое умеет дорисовывать вам дорогой костюм, профессорскую мантию и диплом Гарварда, пока вы стоите перед ним в домашней пижаме.
Смотреть в него нужно. Отражает оно наши идеи превосходно. Но помните: каждый раз, когда вы отходите от этого зеркала, сверяйтесь с картой реальности. Потому что кроме вашего отражения и красивых галлюцинаций за вашей спиной, в нем больше ничего нет.
Команда ТА «Мастер-класс»