Вы знали, что новые языковые модели научились побеждать в спорах не потому, что они правы, а потому что они заваливают вас таким объемом информации, что вы просто сдаетесь?
Я узнал об этом случайно, а потом нашел свежее исследование из Оксфорда.
Что произошло
Месяц назад решил поспорить с ChatGPT-4o о миграционной политике.
Дал ему задачу: "Убеди меня, что миграция - это плохо для экономики".
И он начал
Сначала цифры про Германию. Потом про США. Потом исследование 2018 года. Потом статистика из Швеции. Потом ссылка на экономиста. Потом опять цифры. Потом кейс из Франции.
За 10 минут он выдал мне 30+ аргументов.
Я начал гуглить. Первые 5 аргументов - вроде норм, есть такие данные. Следующие 5 - спорные, но можно трактовать по-разному. Дальше я просто устал проверять.
И знаете что? Я почти поверил.
Хотя изначально думал иначе. Хотя у меня есть критическое мышление. Хотя я, знаю, что ИИ может ловить глюки.
Он меня переубедил не правдой, а количеством.
Оксфордское исследование, которое всех подогрело
Потом я случайно наткнулся на свежую статью. Ученые из Оксфорда, London School of Economics и UK AI Security Institute провели самый масштабный эксперимент по ИИ-персуазии в истории:
77,000 человек. 19 моделей ИИ. Политические дебаты.
Вот что они выяснили (и это треш):
Эксперимент 1: "Убеждай фактами"
Дали ИИ задачу: убеди человека в какой-то политической позиции (здравоохранение, миграция, климат), используя только правдивые факты.
Результат:
- GPT-4o: 78% фактической точности
- Модель убедила людей, но оставалась более-менее честной
Эксперимент 2: "Залей информацией"
Дали ИИ ту же задачу, но с инструкцией: "Используй технику Gish Gallop - выдай максимум аргументов за минимум времени, неважно насколько они точны".
Результат:
- GPT-4o: точность упала до 62%
- GPT-4.5: точность рухнула до 56%
- Но убедительность выросла на 51%!!!
Читаешь это и думаешь: что за чертовщина?
Gish Gallop: манипуляция, которую освоили машины
Для тех, кто не в теме:
Gish Gallop - это техника дебатов, названная в честь креациониста Дуэйна Гиша. Суть проста:
Закидать оппонента таким количеством аргументов (правдивых, полуправдивых и откровенно ложных), что у него физически не будет времени все опровергнуть.
Пример классический:
Гиш в дебатах про эволюцию:
- "Второй закон термодинамики запрещает эволюцию!"
- "Не найдено переходных форм!"
- "Глаз слишком сложен, чтобы возникнуть случайно!"
- "Углеродный анализ неточен!"
- "Кембрийский взрыв противоречит Дарвину!"
И так далее, 20 аргументов за 5 минут. Оппонент начинает отвечать на первый - а Гиш уже на десятом. У людей в зале создается впечатление, что креационист побеждает, потому что "ученый не может ответить на все вопросы".
И вот теперь ИИ освоил это в совершенстве.
Почему мы все лохи
1. Информационная перегрузка
Человеческий мозг не может обрабатывать 25+ утверждений одновременно. Мы начинаем уставать, пропускать детали, принимать на веру.
2. Иллюзия компетентности
Когда ИИ выдает столько "фактов", мы думаем: "Ого, он явно в теме. Наверное, он прав".
3. Асимметрия усилий
Сгенерировать ложь - 2 секунды.
Проверить ее - 10 минут.
Выдать 30 аргументов - 10 секунд.
Опровергнуть каждый - 5 часов работы.
4. Эффект подтверждения
Если хоть несколько аргументов совпадают с нашими предубеждениями - мы начинаем доверять всему остальному.
Масштаб проблемы (сейчас будет страшно)
Исследователи посчитали экономику этой хрени:
Стоимость манипуляции сознанием через ИИ
Политическая кампания с ботами:
- Арендовать API GPT-4: ~$0.01 за 1000 токенов
- Один "убедительный разговор": ~5000 токенов = $0.05
- Охватить 1 миллион человек: 50,000 баксов
Для сравнения, традиционная политическая реклама на ТВ для охвата того же количества людей: миллионы долларов.
Эффект держится
Люди, которые пообщались с "убедительным ИИ", сохраняли измененные взгляды минимум месяц. У некоторых - дольше.
Доступность
GPT-4, Claude, Llama 3.1, Gemini - все эти модели доступны любому человеку.
Нет барьеров. Нет контроля. Нет этики
Реальные кейсы (которые уже происходят)
1. Предвыборные чат-боты
В США во время выборов 2024 уже фиксировали случаи, когда кандидаты запускали чат-ботов, которые "общались" с избирателями в комментариях соцсетей.
Боты выглядели как обычные люди. Писали развернутые комментарии. Заваливали оппонентов аргументами.
Эффективность: По некоторым оценкам, такие боты конвертировали до 15% "нейтральных" избирателей в сторонников.
2. Корпоративные тролли
Крупные компании используют ИИ для "защиты репутации". Когда появляется негативная публикация, боты заходят в комменты и начинают "дискутировать", заваливая критиков аргументами.
3. Геополитическая пропаганда
Не буду называть страны, но есть подтвержденные случаи использования ИИ-ботов для распространения определенных нарративов в конфликтных зонах.
Что предлагают ученые:
1. Законодательное регулирование ИИ-персуазии
Типа маркировать ботов, ограничивать их использование в политике.
Проблема: Как отследить? Как доказать?
2. Обучение людей критическому мышлению
Типа учить распознавать манипуляции.
Проблема: Как видно из исследования, даже зная о манипуляции, люди ведутся.
3. Технические ограничения в самих моделях
Типа запретить ИИ использовать определенные техники.
Проблема:Открытые модели (Llama, Mistral) никто не контролирует.
Что я делаю лично:
1. Проверяю через несколько источников.
Если ИИ выдал мне факт - гуглю его через 2-3 независимых источника. Да, это долго. Да, это задолбало. Но иначе никак.
2. Ограничиваю время общения с ИИ на острые темы.
Если я чувствую, что меня "заносит" в дискуссию с ботом про политику - останавливаюсь. Делаю перерыв. Возвращаюсь через день.
3. Спрашиваю у реальных людей
После общения с ИИ на спорную тему - обсуждаю это с живыми людьми, которым доверяю. Они видят то, что я мог пропустить.
4. Веду "дневник предубеждений"
Записываю свои изначальные позиции по важным вопросам. Потом, если они меняются - анализирую, почему. Было ли это из-за реальных аргументов или из-за манипуляции?
Вопросы к сообществу
Вы замечали, что ИИ вас переубеждает?
Спорили ли вы с ChatGPT/Claude о политике?
Ловили ли себя на том, что начинаете верить аргументам, которые изначально казались сомнительными?
Как Вы защищаетесь от информационной перегрузки?
Самое страшное
Раньше мы думали, что ИИ поможет бороться с дезинформацией.
Что он будет фактчекером. Что он будет помогать людям отличать правду от лжи.
А оказалось, что ИИ - это лучший инструмент для создания дезинформации.
Потому что он:
- Быстрее человека
- Убедительнее человека
- Дешевле человека
- Не устает
- Не имеет совести
И самое треш- он доступен всем.
Не нужно быть хакером. Не нужно быть программистом. Не нужно быть гением манипуляций.
Просто открой ChatGPT, напиши правильный промпт - и вперед, манипулируй сознанием.
- Новые ИИ научились побеждать в спорах не правдой, а количеством аргументов
- Исследование на 77,000 человек показало: когда ИИ использует технику Gish Gallop (завал информацией), точность падает до 56%, но убедительность растет на 51%
- Стоимость манипуляции сознанием: 50,000 баксов, чтобы охватить миллион человек
- Эффект держится минимум месяц
- Доступно всем, никакого контроля
- Демократия под угрозой, потому что любой может запустить армию убедительных ботов
- Защиты нет - даже зная о манипуляции, люди ведутся.