Новое эссе о том, как философская проблема 1963 года стала повседневной реальностью миллионов.
Представьте ситуацию. Вам нужно проверить надёжность нового источника информации. Спрашиваете об этом ChatGPT. ИИ анализирует, размышляет, взвешивает — и выдаёт подробный ответ с обоснованием и резюме: источник надёжен.
Вроде бы, всё чисто. Но не совсем.
Подумайте:
- Всегда ли стоит верить ИИ в таких ситуациях?
- И стоит ли верить, если ИИ пришёл к правильному выводу, рассуждая каким-то неправильным способом?
Два новых исследования раскрывают тревожную закономерность: языковые модели имитируют экспертное мышление, не обладая им. И это не баг. Это их фундаментальная природа.
Что не так с суждениями ИИ
Два масштабных исследования показали проблему, которая должна насторожить каждого, кто регулярно использует ИИ для принятия решений.
Языковые модели создают убедительную иллюзию экспертного мышления, не обладая реальным пониманием.
LLM оценивают надёжность источников, опираясь не на проверку фактов, а на статистические ассоциации в обучающих данных. Если в текстах часто упоминается определённое издание в положительном контексте — оно получит высокий рейтинг, независимо от реального качества журналистики.
LLM ставят медицинские диагнозы через «голосование» нескольких агентов, игнорируя критически важные данные. Система может пропустить явные симптомы редкого заболевания, потому что статистически более вероятен распространённый диагноз.
LLM создают иллюзию суждения, просто подбирая правдоподобные слова на основе паттернов в данных.
Исследователи называют это эпистемией — когда поверхностная правдоподобность заменяет настоящую верификацию.
Проблема Геттиера: философия стала реальностью
Но есть более глубокий философский контекст, который делает эту проблему ещё интереснее.
В 1963 году философ Эдмунд Геттиер опубликовал короткую статью, которая взорвала эпистемологию. Он показал, что «обоснованное истинное убеждение» не всегда является настоящим знанием — если обоснование причинно не связано с истиной.
Классический пример: вы смотрите на часы, которые остановились ровно 24 часа назад. Показывают 3:00. Сейчас действительно 3:00. У вас есть обоснованное истинное убеждение о времени. Но это не знание — вы правы случайно, по неправильной причине.
Десятилетиями это была редкая философская курьёзность, предмет академических дискуссий.
Сегодня языковые модели систематизируют проблему Геттиера в промышленном масштабе. Миллионы правильных ответов ежедневно, где статистическая регулярность выдаёт себя за эпистемическое обоснование.
ИИ даёт правильные ответы, но по неправильным причинам. И мы этого не замечаем, потому что результат выглядит убедительно.
Почему это важно именно сейчас
Каждый день миллионы людей делегируют ИИ оценку информации: фильтрация новостей, проверка достоверности, медицинская диагностика, юридические консультации, финансовые решения.
И вот что пугает: впечатляющие метрики точности часто скрывают глубокие дефекты в самом процессе рассуждений.
ИИ-система может показывать 90% точности на простых задачах, а затем рухнуть до 27% на сложных специализированных случаях. При этом внешне процесс выглядит одинаково «экспертным». Уверенный тон, структурированное объяснение, убедительная аргументация.
Пользователь не видит разницы между случаями, когда система действительно «понимает» проблему (в той мере, в которой ИИ вообще может понимать), и случаями, когда она просто генерирует правдоподобный текст.
Эксперимент №1: как ИИ оценивает новости
Первое исследование проанализировало, как шесть языковых моделей оценивают надёжность 7 715 новостных источников.
Результаты поразительны.
GPT выдаёт уверенные оценки достоверности источников даже без доступа к их контенту. Модель «знает», что The New York Times надёжна, а некий малоизвестный сайт — сомнителен. Откуда?
Не из анализа конкретных статей. Не из проверки фактов. Просто из статистических ассоциаций в обучающих данных.
Если в текстах, на которых обучалась модель, определённое издание часто упоминается в авторитетном контексте — оно получит высокий рейтинг. Независимо от того, действительно ли журналисты этого издания работают качественно.
Политическая асимметрия в суждениях
Ещё интереснее: исследование обнаружило систематическую политическую асимметрию в оценках моделей.
Источники с определённой политической ориентацией систематически получали более высокие или низкие оценки, не связанные с фактической точностью их репортажей.
Это не злой умысел разработчиков. Это следствие смещений в обучающих данных. Если модель обучалась на текстах, где чаще критиковали определённые издания — она усвоила этот паттерн как «знание».
Иллюзия проверки фактов
Самое тревожное: когда пользователь спрашивает ИИ о надёжности источника, модель генерирует убедительное объяснение своей оценки.
«Этот источник имеет долгую историю качественной журналистики, строгие редакционные стандарты, высокую фактическую точность...»
Звучит как результат тщательного анализа. На самом деле — генерация правдоподобного текста на основе статистических паттернов.
Пользователь получает не экспертную оценку, а статистическую аппроксимацию того, как обычно описывают надёжные источники.
Эксперимент №2: ИИ-консилиум в медицине
Второе исследование ещё драматичнее. Анализ 3 600 медицинских случаев в мультиагентных системах — когда несколько ИИ-агентов работают как виртуальный консилиум врачей.
Идея выглядит привлекательно: несколько независимых агентов анализируют случай, обсуждают, приходят к консенсусу. Как реальный консилиум специалистов.
Игнорирование критических данных
Проблема: «консилиум» ИИ-врачей игнорирует критически важные данные при достижении консенсуса.
Агенты фокусируются на статистически частых паттернах, пропуская редкие, но важные симптомы. Если три из четырёх агентов склоняются к распространённому диагнозу, четвёртый агент, заметивший атипичные признаки, часто «переубеждается» на основе консенсуса.
В реальном медицинском консилиуме врач, заметивший что-то необычное, настаивает на дополнительных проверках. В ИИ-консилиуме агент просто подстраивается под статистическое большинство.
Опасность правильного диагноза по неправильной причине
Система может показывать 90% точности на стандартных случаях. Но когда появляется сложный случай с атипичными симптомами, точность падает до 27%.
При этом внешне система выглядит одинаково уверенной в обоих случаях. Структурированный анализ, медицинская терминология, чёткие рекомендации.
Пациент и даже врач, полагающийся на систему, не видят разницы между случаями, когда диагноз обоснован, и случаями, когда это удачная статистическая догадка.
Правильный диагноз через ненадёжный процесс — это проблема. Потому что в следующий раз этот же процесс может дать неправильный диагноз, а внешне будет выглядеть так же убедительно.
Эпистемия: имитация vs понимание
Исследователи ввели термин эпистемия для описания этого явления.
Эпистемия — это когда система создаёт убедительную иллюзию знания, не обладая реальным пониманием. Когда поверхностная правдоподобность заменяет глубокую верификацию.
Ключевое отличие от настоящего знания:
Настоящее знание: правильный вывод + правильный процесс рассуждения + причинная связь между процессом и выводом.
Эпистемия: правильный вывод + убедительно выглядящий процесс + отсутствие реальной причинной связи.
Языковые модели мастера эпистемии. Они генерируют текст, который выглядит как результат экспертного анализа, но на самом деле является статистической аппроксимацией паттернов из обучающих данных.
Когда имитация достаточна, а когда смертельно опасна
Важно понимать: эпистемия не всегда проблема. Есть контексты, где имитация экспертного суждения вполне достаточна.
Контексты низкого риска
Если вы просите ИИ написать поздравление с днём рождения, отредактировать резюме или предложить идеи для ужина — эпистемия не проблема.
Здесь не требуется глубокое понимание. Достаточно статистической аппроксимации того, как обычно пишут поздравления, форматируют резюме, сочетают ингредиенты.
Правильный результат по неправильной причине? Не важно. Ставки низкие.
Контексты высокого риска
Но когда ИИ используется для медицинской диагностики, юридических решений, финансовых советов, проверки достоверности критической информации — эпистемия становится опасной.
Здесь важен не только результат, но и процесс. Потому что если процесс ненадёжен, правильный результат — это везение. В следующий раз везения может не быть.
Врач, поставивший правильный диагноз случайно, опасен. Следующего пациента он может убить.
ИИ, давший правильный совет по статистической удаче, опасен точно так же.
Как научиться различать экспертность и эпистемию
Проблема в том, что внешне эпистемия неотличима от настоящей экспертности. Оба создают убедительно выглядящие тексты.
Но есть признаки, на которые стоит обращать внимание:
Признак 1: Излишняя уверенность в нетипичных случаях
Настоящий эксперт знает границы своей компетенции. При столкновении с редким или атипичным случаем он выражает осторожность, предлагает дополнительные проверки.
ИИ, работающий на статистической аппроксимации, может проявлять одинаковую уверенность в типичных и атипичных случаях. Потому что не понимает разницы — оба выглядят как паттерны в данных.
Признак 2: Общие фразы вместо конкретных деталей
Эпистемия производит правдоподобные общие утверждения. «Этот источник известен качественной журналистикой». «Симптомы указывают на распространённое заболевание».
Настоящее экспертное суждение включает конкретные детали. «В 2019 году это издание получило Пулитцеровскую премию за расследование коррупции». «Сочетание этих двух симптомов встречается в 3% случаев и требует исключения редкого синдрома».
Признак 3: Отсутствие альтернативных гипотез
ИИ часто движется прямо к одному выводу, игнорируя альтернативы. Потому что статистически один вариант доминирует.
Эксперт рассматривает несколько гипотез, взвешивает их вероятность, объясняет, почему выбирает одну, но не исключает полностью другие.
Три открытых вопроса о будущем
Эпистемия ставит перед нами три фундаментальных вопроса, от ответов на которые зависит наше цифровое будущее.
Вопрос 1: В каких доменах эпистемия приемлема?
Где мы можем спокойно использовать ИИ, зная, что это статистическая аппроксимация, а не настоящее понимание? А где это неприемлемо?
Нужна классификация задач по критичности процесса рассуждения. Не только по критичности результата.
Вопрос 2: Как обучить эпистемической грамотности?
Людям нужно понимать природу ИИ. Не на техническом уровне «нейросети и трансформеры», а на концептуальном: ИИ аппроксимирует паттерны, не понимая их.
Это новый вид грамотности, такой же важный, как критическое мышление или медиаграмотность.
Вопрос 3: Можем ли мы создать ИИ без эпистемии?
Это технический вопрос с философскими последствиями. Возможна ли архитектура, которая действительно понимает, а не имитирует?
Или эпистемия — фундаментальное свойство любой системы, основанной на статистической аппроксимации паттернов?
Алгокогнитивная культура: неизбежное будущее
Мы движемся к алгокогнитивной культуре — гибридному интеллекту людей и алгоритмов. Это неизбежно.
ИИ уже встроен в критические инфраструктуры: медицину, образование, журналистику, юриспруденцию, финансы. Этот процесс не остановить и не повернуть вспять.
Но без понимания природы ИИ мы рискуем сжиться с эпистемией, как уже смирились с неизбежными багами в программном обеспечении.
«Да, иногда глючит, но в целом работает» — приемлемый подход к текстовому редактору. Но не к медицинской диагностике.
Эпистемия — не баг, это природа
Разница в том, что эпистемия — это не баг. Это фундаментальная природа современного искусственного интеллекта.
Вы можете исправить баг в коде. Вы не можете «исправить» то, что языковая модель работает через статистическую аппроксимацию паттернов. Это её суть.
Наша задача — встроить эту природу в человеческую культуру так, чтобы приумножать знания, а не иллюзии знаний.
Что делать практически
Если вы используете ИИ для принятия решений, вот конкретные рекомендации:
1. Различайте контексты использования
- Низкий риск: используйте свободно
- Высокий риск: требуйте человеческой проверки
2. Проверяйте не только результат, но и процесс
- Правильный ответ + неправильное рассуждение = проблема
- Требуйте конкретных деталей, не довольствуйтесь общими фразами
3. Будьте особенно осторожны с нетипичными случаями
- Там, где ситуация выходит за рамки статистической нормы, эпистемия опаснее всего
4. Развивайте эпистемическую грамотность
- Понимайте природу ИИ: это аппроксимация паттернов, не понимание
5. Не доверяйте уверенности
- Убедительный тон не равен надёжности процесса
Заключение: правильный ответ по неправильной причине
Самое опасное в эпистемии — это не ошибочный ответ. Ошибки мы учимся замечать и корректировать.
Самое опасное — это правильный ответ по неправильной причине.
Потому что он создаёт ложное чувство безопасности. Система работает! Видите, правильные результаты!
Пока однажды, при чуть изменившихся обстоятельствах, тот же процесс не даст катастрофически неправильный результат. И мы не поймём почему, потому что не понимали, почему он давал правильные.
Проблема Геттиера 1963 года перестала быть философской абстракцией. Она стала повседневной реальностью миллионов людей, взаимодействующих с ИИ.
И наше понимание этой реальности определит, станет ли алгокогнитивная культура эпохой приумножения знаний или эпохой торжества иллюзий.