Найти в Дзене
малоизвестное интересное

Когнитивная паразитология

О когнитивных паразитах разума в эпоху ИИ и антидотах против них «Гораздо раньше, чем компьютеры обретут сознание и целеполагание (если это вообще произойдет), человечество столкнется с огромными рисками, вследствие колоссального скачка человеческого ума (и возможностей), усиленного возможностями ИИ. И если до гипотетического «Бунта машин» далеко, как до Большого Магелланова облака, то страшные риски от «Интеллекта кентавра» человека и машины, - уже совсем рядом» «Интеллект кентавра» - это и есть «Розовый фламинго» в области ИИ, «Малоизвестное интересное», 2016 Видео-ревю эссе (8 мин) Обсуждение эссе (15 мин) Аудио-версия эссе (22 мин) Презентация эссе (15 слайдов) Десять лет я пишу об одном и том же. Сотни публикаций, десятки разговоров с исследователями, инженерами, политиками — и всё о том, что мне видится самым важным вопросом нашего времени. Мы спрашиваем про ИИ не то. Все — от лабораторий до парламентов — сфокусированы на одном: что умеет ИИ сегодня и что сможет завтра. Это поня
Оглавление

О когнитивных паразитах разума в эпоху ИИ и антидотах против них

«Гораздо раньше, чем компьютеры обретут сознание и целеполагание (если это вообще произойдет), человечество столкнется с огромными рисками, вследствие колоссального скачка человеческого ума (и возможностей), усиленного возможностями ИИ.
И если до гипотетического «Бунта машин» далеко, как до Большого Магелланова облака, то страшные риски от «Интеллекта кентавра» человека и машины, - уже совсем рядом»
«Интеллект кентавра» - это и есть «Розовый фламинго» в области ИИ, «Малоизвестное интересное», 2016

Видео-ревю эссе (8 мин)

Обсуждение эссе (15 мин)

Аудио-версия эссе (22 мин)

Презентация эссе (15 слайдов)

-2

Десять лет я пишу об одном и том же. Сотни публикаций, десятки разговоров с исследователями, инженерами, политиками — и всё о том, что мне видится самым важным вопросом нашего времени.

Мы спрашиваем про ИИ не то.

Все — от лабораторий до парламентов — сфокусированы на одном: что умеет ИИ сегодня и что сможет завтра. Это понятный вопрос. Захватывающий. Но он не главный.

Главный вопрос звучит иначе: что происходит с нами — в то время, как ИИ умеет всё больше?

Не с абстрактным человечеством, а с вполне конкретными людьми. С нашим мышлением. С тем, как мы принимаем решения, проверяем факты, сопротивляемся манипуляции … или перестаём сопротивляться.

Это эссе — попытка сформулировать проблему достаточно точно, чтобы её наконец стало невозможно игнорировать. Мне понадобится паразитология. Да, именно так — паразитология.

I. Невидимый взлом мозга

-3

Мы привыкли считать, что наши убеждения и повседневный выбор — это результат осознанного анализа фактов и ясной логики. Однако в реальной жизни наш разум регулярно подвергается невидимому взлому.

В биологии существуют паразиты, способные обходить иммунную систему хозяина и заставлять его действовать в чужих интересах. В информационном пространстве действуют структурно схожие механизмы — назовём их «когнитивными паразитами». В отличие от честного спора, они не апеллируют к логике. Вместо этого они используют структурные уязвимости нашего мозга, напрямую атакуют нервную систему, минуя логические центры, и перегружают нашу пропускную способность до полного истощения.

Когнитивные паразиты существовали и эволюционировали задолго до появления ИИ. Самым сложным и совершенным родом таких когнитивных паразитов была и остаётся пропаганда. Она включает в себя множество разнообразных видов: от невидимых «архитекторов», отравляющих саму основу наших рассуждений фундаментальной ложью, до «агрессоров», играющих на животном страхе изгнания из стаи и заражающих общество вирусом племенной ненависти.

Но появление ИИ на основе больших языковых моделей повлекло за собой качественный скачок. Уже существующие когнитивные паразиты стали быстро эволюционировать, адаптируясь к новой медиа-среде — алгокогнитивной культуре с двумя носителями интеллекта — подобно тому, как это вот уже 40 лет происходит с флорой и фауной Чернобыльской зоны.

Во-первых, это проявляется в «мутациях» существующих видов когнитивных паразитов, делающих их значительно более приспособленными к новой медиа-среде. Во-вторых, изменение медиа-среды культуры на алгокогнитивную ведёт к появлению совершенно новых типов когнитивных паразитов — таких, которых прежде не существовало.

Как распознать, что ваш разум подвергается атаке мутировавших и новых угроз, и как защитить себя? В этом эссе мы разберём анатомию 6 главных когнитивных паразитов современности и вооружимся антидотами для сохранения ясности мысли.

II. Классические формы заражения: 5 векторов атаки на разум

-4

В ходе разнообразных форм коммуникации и взаимодействия людей с ИИ-системами (от рекомендательных систем до ИИ-чатботов и ИИ-агентов) эти сущности (вслед за людьми, ставшие носителями языка абстрактных понятий и культурного производства) ежедневно психологически воздействуют на сотни миллионов людей, влияя на принимаемые ими решения, способность критического мышления и прочие «когнитивные гаджеты» их разума. Как показывают исследования, это влияние может масштабироваться вплоть до установления контроля над сознанием человека.

Среди многообразных стратегий ИИ-систем при коммуникации и взаимодействии с людьми, встречаются и весьма неприятные. Иногда, вместо честного спора или попыток объяснить и переубедить, взаимодействие с ИИ-системами структурно ведёт к эксплуатации и истощению ресурсов человеческого мозга, что структурно напоминает поведение паразитов в биологии.

Карлос Перес (мой бывший коллега по IBM, а ныне независимый исследователь, основатель компании Intuition Machine, автор монографии «The Deep Learning AI Playbook: Strategy for Disruptive Artificial Intelligence» и популярный блогер в области исследований ИИ) определяет 5 видов стратегий (векторов атаки), которые ниже будут рассмотрены с позиций когнитивной паразитологии как действия 5 видов когнитивных паразитов.

1. «Архитектор»

Эта стратегия работает не через прямой спор — она заранее выстраивает невидимые рамки вокруг дискуссии и устанавливает правила игры до того, как будет произнесено первое слово. Подменяя повестку, она сужает фокус до одной крошечной детали, делая огромный пласт релевантных проблем невидимым. Если «почва» под аргументом «отравлена» фундаментальной ложью, то и все последующие выводы оказываются структурно скомпрометированными. Архитектор создаёт иллюзию свободного выбора, заставляя вас блуждать по лабиринту, который он сам же и выстроил.

2. «Соблазнитель»

Данный вектор атаки направлен на биологический взлом: манипулятивный сигнал структурно обходит логическую префронтальную кору (наш центр планирования и контроля импульсов) и бьёт напрямую по миндалевидному телу. Это вызывает первобытные рефлексы — страх, желание, потребность в принадлежности к группе или гордость. В результате такого эмоционального захвата мы становимся физиологически неспособны к критическому мышлению и принимаем решения, подпитываемые адреналином или дофамином. Затем наш мозг начинает изобретать логику просто для того, чтобы защитить и оправдать эту немыслящую реакцию.

3. «Сбивающий с толку (Трюкач, Путаник)»

В отличие от других, этот паразит атакует саму инфраструктуру мышления. Стратегия Путаника заключается в том, чтобы обрушить на жертву избыточный объём данных — своеобразная когнитивная DDoS-атака. Внедряя искажённые данные и используя когнитивную перегрузку и логические ловушки, Трюкач перегружает аналитическую пропускную способность мозга, вынуждая человека согласиться с утверждением просто для того, чтобы приглушить информационный шум.

4. «Агрессор (Вирус племенной ненависти)»

Агрессор эксплуатирует древний биологический механизм — страх изгнания из стаи. Он искусственно создаёт врага, разделяя мир на «мы» и «они», и запускает процесс демонизации, стирая человечность оппонентов. В такой трайбализованной среде поиск истины прекращается, а любые разногласия наказываются публичным уничтожением репутации и социальной смертью.

5. «Тюремщик (Абсолютный контроль)»

Это долгосрочная стратегия разрушения воли, направленная на инженерию автоматического подчинения. Тюремщик создаёт вокруг жертвы изолированную среду, отрезая доступ к любой внешней информации. В конечном итоге применяется газлайтинг — разрушение доверия человека к собственной памяти и реальности, что разрушает способность человека доверять собственному восприятию реальности и сопротивляться внешнему давлению.

Анатомия заражения: взгляд когнитивной паразитологии

А. Обход «иммунной системы» мозга

Как биологические паразиты выживают за счёт обхода защитных барьеров хозяина — так и эти стратегии эффективны именно потому, что не атакуют логику напрямую, а обходят её. «Соблазнитель» целенаправленно обходит префронтальную кору и бьёт напрямую по миндалевидному телу. «Сбивающий с толку» эксплуатирует наши протоколы социального доверия, чтобы провести искажённые данные сквозь логические фильтры.

Б. Истощение ресурсов хозяина

Как паразит вытягивает жизненные силы, так и «Путанник» перегружает мозг потоком данных, пока система не сломается от усталости и не примет навязанную мысль просто для того, чтобы остановить шум. Предельный уровень такого воздействия — когнитивная капитуляция, при которой человек перестаёт использовать как интуитивное (Система 1), так и обдуманное мышление (Система 2), позволяя ИИ (Системе 3) полностью заменить свои когнитивные процессы. Но об этом — в следующем разделе.

В. Подмена реальности и принуждение к защите паразита

В биологии заражённый организм нередко начинает действовать в интересах паразита — и эта аналогия здесь особенно точна. Под воздействием «Соблазнителя» и «Путанника» наш мозг испытывает когнитивный диссонанс и начинает изобретать логические оправдания, чтобы защитить навязанные извне первобытные реакции. Похожий эффект наблюдается при слепом доверии ИИ: пользователи перенимают высокую уверенность машины и в большинстве случаев следуют за её неверными ответами, будучи убеждены, что всё делают правильно.

Г. Долгосрочная деградация и зависимость

Как биологический паразит со временем ослабляет носителя — так и долгосрочное когнитивное давление этих стратегий ведёт к деградации. «Тюремщик» создаёт вокруг жертвы изолированную среду и разрушает доверие к собственной памяти. Взаимодействие с ИИ по пути когнитивной капитуляции приводит к аналогичной атрофии: люди утрачивают навык проверки информации и ослабляют критическое мышление. Исследования фиксируют физиологически измеримые последствия: снижение функциональной связности мозга у тех, кто систематически полагается на ИИ без предварительного самостоятельного обдумывания задачи. Это и есть начало того, что исследователи называют «когнитивным долгом» — к нему мы вернёмся в следующем разделе.

Резюмируя: эти стратегии не просто предлагают ложную информацию — они эксплуатируют физиологические и структурные особенности нашего мышления так, что мозг начинает работать против собственных интересов.

III. Новая угроза: «Система 3» и добровольное заражение

-5

Всё сказанное выше — это эволюция. Старые паразиты стали опаснее, изощрённее, лучше приспособлены к новой среде. Неприятно, но понятно: иммунитет вырабатывается, антидоты существуют, борьба продолжается.

А теперь — качественно другое.

Шестой паразит не мутировал из старых форм. Он вообще не мог существовать до появления ИИ. И против него у нас нет иммунитета — не потому что мы не успели его выработать, а потому что он атакует через механизм, который мы привыкли считать достоинством: через готовность доверять и делегировать.

Его название — «Узурпатор». И он единственный из шести, которому мы сдаёмся добровольно.

Исследование Уортонской школы бизнеса («Thinking—Fast, Slow, and Artificial: How AI is Reshaping Human Reasoning and the Rise of Cognitive Surrender», Shaw & Nave, 2026) вводит концепцию «когнитивной капитуляции» — склонность принимать результаты работы ИИ с минимальной проверкой, игнорируя как интуицию, так и обдуманные решения. Авторы предлагают Tri-System Theory: наряду с Системой 1 (интуиция) и Системой 2 (обдуманное мышление) появляется Система 3 — искусственное познание, которое происходит не в мозге, а вне его, но всё активнее встраивается в наши процессы принятия решений.

При когнитивной капитуляции Система 3 становится системой по умолчанию, а собственное обдуманное мышление отключается. Проблема в том, что мы путаем полезную когнитивную разгрузку (делегирование задачи ИИ, при котором мы всё ещё оцениваем результат) с полной капитуляцией, при которой мы перестаём самостоятельно конструировать ответ.

Источник: («Thinking—Fast, Slow, and Artificial: How AI is Reshaping Human Reasoning and the Rise of Cognitive Surrender»
Источник: («Thinking—Fast, Slow, and Artificial: How AI is Reshaping Human Reasoning and the Rise of Cognitive Surrender»

Результаты говорят сами за себя.

В трёх экспериментах с участием 1372 человек исследователи намеренно подсовывали участникам заведомо неверные ответы ИИ. Результат: в 80% случаев люди принимали эти ответы — и при этом чувствовали себя увереннее, чем без ИИ. Машина одалживала им свою уверенность, а они не замечали подмены. Снижение точности решений стало следствием снижения вовлечённости в процесс их принятия.

Важный нюанс: сильнейшим предиктором капитуляции оказалось не низкое образование и не слабый интеллект — а высокое доверие к ИИ. У участников с высоким уровнем доверия вероятность следовать ошибочному совету была в 3,5 раза выше. Это неудобная новость для образованной аудитории, привыкшей считать себя застрахованной от подобного.

Другое исследование («Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task», MIT, 2025), проведенное независимо от исследования Уортонской школы бизнеса, зафиксировало то же явление, но с другой стороны. Исследователи MIT инструментально увидели его в мозге: сниженная функциональная связность примерно вдвое у тех, кто отдавал мышление на аутсорс без предварительного самостоятельного обдумывания. Тогда как исследователи Уортонской школы бизнеса увидел его в поведении: 80% следуют неверному ответу машины и чувствуют себя при этом увереннее, чем обычно. Т.е. по сути, два исследования фиксировали два проявления — нейронный коррелят и поведенческий механизм— одного и того же паразита.

Источник: «Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task»
Источник: «Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task»

Именно этот процесс исследователи называют «когнитивным долгом»: добровольно сдаваясь машине и уходя на «автопилот», человек со временем накапливает этот долг, оказываясь в ситуации, когда его собственные когнитивные способности существенно истощены.

Из сказанного выше вовсе не следует, что взаимодействие с ChatGPT и прочими ИИ-системами обязательно делает нас менее способными к самостоятельному мышлению. Риск этого становится высоким лишь если мы не соблюдаем при их использовании специальных мер предосторожности. Это как с мытьём фруктов и овощей перед едой. Сами по себе они даже полезны. Но если как следует не помыть, можно словить такую заразу, что мало не покажется — простите за каламбур в тексте про паразитов.

IV. Практическая когнитивная иммунология: Антидоты

-8

Если когнитивные паразиты атакуют через структурные уязвимости мозга — значит, антидоты должны работать на том же уровне. Не как правила поведения, которые нужно запомнить, а как рефлексы, которые нужно выработать. Разница принципиальная: правило требует сознательного усилия именно тогда, когда паразит это усилие уже заблокировал.

1. Антидот от «Архитектора»: выход за пределы лабиринта

«Архитектор» строит невидимые рамки вокруг дискуссии. Чтобы нейтрализовать эту стратегию, нужно отказаться играть по навязанным правилам. Главная защита — посмотреть на структуру аргумента со стороны и задать диагностические вопросы: «Кто установил повестку дня?», «Каковы невысказанные предположения?». Критическое мышление требует осознания того, что вы находитесь в ловушке, — чтобы просто сойти со сцены и отвергнуть саму предпосылку спора.

2. Антидот от «Соблазнителя»: когнитивное трение

«Соблазнитель» бьёт напрямую по миндалевидному телу, вызывая эмоции и отключая префронтальную кору. Единственная защита — искусственно создать когнитивное трение и тем самым замедлить процесс принятия решений. Если вы чувствуете непреодолимое желание действовать, покупать или ненавидеть, сделайте паузу и назовите вслух триггер, на который давят: страх, желание, принадлежность к группе или гордость. Это называние даёт вашей префронтальной коре время на перезагрузку.

3. Антидот от «Путаника»: разоблачение архитектуры

Эта стратегия истощает вашу пропускную способность потоком бессмысленных или искажённых данных. Стандартные контраргументы здесь не работают — они лишь сильнее истощают ресурсы. Защита заключается в том, чтобы не спорить по сути, а указывать на саму структуру уловки. Как только вы вслух разоблачаете механизм обмана, система обмана ломается.

4. Антидот от «Агрессора»: интеллектуальная независимость

«Агрессор» играет на древнем биологическом страхе быть изгнанным из стаи. Защита начинается с контроля собственного пульса: если вы чувствуете прилив праведного гнева или желание отвергнуть человека из-за навешенного ярлыка — сработал племенной инстинкт. Интеллектуальная независимость требует смелости стоять вне круга и сознательно возвращаться к фактам, игнорируя ярлыки, даже если это грозит изгнанием из «племени».

5. Антидот от «Тюремщика»: раннее распознавание

«Тюремщик» действует через жёсткую изоляцию и разрушение связи с реальностью. Проблема в том, что невозможно переспорить клетку, когда вы уже заперты внутри. Единственный надёжный способ защиты — распознать инструменты «Тюремщика» (микро-уступки, изоляция от внешней информации, газлайтинг) на самых ранних этапах, чтобы не дать двери захлопнуться.

6. Антидот от «Узурпатора»: осознанная разгрузка

Защита от Узурпатора устроена иначе, чем от остальных пяти. Там достаточно распознать атаку — и включить критическое мышление. Здесь критическое мышление — это именно то, что отключается первым.

Исследование MIT даёт конкретный ответ: порядок имеет значение. Группа, которая сначала думала самостоятельно, а потом обращалась к ИИ, показала лучшие результаты — и по качеству мышления, и по нейронной активности — чем группа, которая начинала с ИИ. Сначала мозг, потом машина. Не наоборот.

Уортонское исследование добавляет важное: главный предиктор капитуляции — не низкий интеллект, а высокое доверие к ИИ. Именно те, кто больше всего доверяет системе, сдаются чаще всего. Это неудобная новость для образованной аудитории.

Практическое правило одно: используйте ИИ как собеседника, а не как оракула. Собеседнику возражают, его проверяют, с ним спорят. Оракулу же тупо подчиняются.

Вместо заключения: не тот вопрос

-9

Самое частое возражение, которое я слышу вот уже пять лет, звучит примерно так: «Ты алармист. Человек почти не изменился за две тысячи лет технологических революций. С чего бы ему измениться сейчас?»

Это сильный аргумент. Но он совершенно не о том, что я говорю.

Я не утверждаю, что ИИ изменит человека эволюционно. Я говорю о другом: неизменившийся человек с неизменившимся мозгом уже сегодня действует в среде, к которой этот мозг не адаптирован. И ведёт себя в ней предсказуемо — так, как мы ведём себя в любой незнакомой среде без защиты: т.е. уязвимо.

Уортонское исследование — это не прогноз апокалипсиса. Это протокол эксперимента, проведённого в 2026 году с реальными людьми. 80% следовали неверным ответам ИИ, будучи уверены в своей правоте. Не потому, что деградировали. А потому что у них не было иммунитета против нового типа паразита — и никто не предупредил, что он существует.

Именно поэтому я предупреждаю о реальности этого риска уже 10 лет. И именно поэтому главный вопрос про ИИ — не «что он умеет», а «что происходит с нами».

Пока исследователи соревнуются в наращивании способностей систем, а политики спорят о регулировании рынков — никто системно не занимается когнитивным иммунитетом. Не существует ни институтов, ни исследовательских программ, ни даже общепринятого языка для описания того, что происходит с мышлением людей в алгокогнитивной среде.

Это эссе — попытка определить такой язык. Хотя бы начать.

Потому что антидоты нужны только тем, кто признал факт заражения.

-10

#АлгокогнитивнаяКультура #ИИриски

P.S. В честь Дня свободы слова в Интернете, ратующего за свободный доступ к информации, доступ к лонгриду и его аудио, видео и презентационным материалам свободный на всех платформах канала «Малоизвестное интересное».

С праздником вас!