Найти в Дзене

Почему нейросеть дает разные ответы на один вопрос — и это не ошибка

Философ Антон Кузнецов изучает, как устроено мышление — человеческое и машинное. В эксклюзивном материале он объясняет, почему нейросети дают разные ответы на один и тот же вопрос — и почему это не баг, а фундаментальное свойство систем искусственного интеллекта. Разговор состоялся накануне конференции «Философия в ответе», организованном Философским клубом Quercus и Еврейским музеем и центром толерантности, которая пройдет в Москве с 20 по 23 ноября. Взаимодействие с большими языковыми моделями обнаруживает когнитивный диссонанс: система демонстрирует вариативность производительности, несовместимую с привычными представлениями о компетентности. Специалист сохраняет квалификацию независимо от момента обращения к нему; детерминистическая программа воспроизводит идентичный результат при идентичном входе. GPT-4 на один запрос может выдать аналитически глубокий ответ, на повторный — поверхностную генерализацию. Эта неконсистентность провоцирует антропоморфизацию: возникает ощущение присутс

Философ Антон Кузнецов изучает, как устроено мышление — человеческое и машинное. В эксклюзивном материале он объясняет, почему нейросети дают разные ответы на один и тот же вопрос — и почему это не баг, а фундаментальное свойство систем искусственного интеллекта. Разговор состоялся накануне конференции «Философия в ответе», организованном Философским клубом Quercus и Еврейским музеем и центром толерантности, которая пройдет в Москве с 20 по 23 ноября.

Взаимодействие с большими языковыми моделями обнаруживает когнитивный диссонанс: система демонстрирует вариативность производительности, несовместимую с привычными представлениями о компетентности. Специалист сохраняет квалификацию независимо от момента обращения к нему; детерминистическая программа воспроизводит идентичный результат при идентичном входе. GPT-4 на один запрос может выдать аналитически глубокий ответ, на повторный — поверхностную генерализацию. Эта неконсистентность провоцирует антропоморфизацию: возникает ощущение присутствия агента с переменным уровнем мотивации.

Природа явления — архитектурная. Большие языковые модели представляют собой недетерминистические системы: они не гарантируют воспроизводимости ответа при повторении запроса. Их выход зависит от вероятностной выборки из пространства токенов, чувствительной к параметрам генерации (температуре, top-p sampling) и к нюансам формулировки промпта. Даже минимальные синтаксические вариации могут активировать разные области латентного пространства модели, порождая расхождения в генерируемом тексте.

-2

Это противоречит семидесятилетней истории взаимодействия с вычислительными машинами. С момента появления коммерческих систем IBM в 1950-х годах до условного начала эры искусственного интеллекта (2011−2012, прорыв глубоких нейросетей в компьютерном зрении) пользователи имели дело исключительно с детерминистическими архитектурами. Операционные системы, компиляторы, базы данных — все они основаны на алгоритмах с предопределенным поведением. Даже когда система содержит элементы случайности, это контролируемая недетерминированность: генератор псевдослучайных чисел с фиксированным начальным значением воспроизводим и верифицируем.

Глубокие нейронные сети функционируют иначе. Это не исполнение эксплицитного алгоритма, а трансформация входа через последовательность матричных операций с обученными весами — параметрическая модель с сотнями миллиардов переменных. Процесс генерации токена включает стохастическую выборку из вероятностного распределения, что исключает детерминированность на уровне архитектуры. Это не дефект реализации, это свойство класса систем.

Творчество или погрешность? Философ Антон Кузнецов — о том, почему вариативность ответов роднит ИИ с человеческим мышлением.
Творчество или погрешность? Философ Антон Кузнецов — о том, почему вариативность ответов роднит ИИ с человеческим мышлением.

Следствия для пользовательского опыта значительны. Система может продемонстрировать способность к нетривиальному аргументированию, а при следующем обращении — провалить элементарную задачу на консистентность контекста. Эта неровность производительности противоречит человеческой интуиции о природе интеллекта: компетентность воспринимается как устойчивое свойство, коррелирующее с общей когнитивной способностью. Языковые модели не укладываются в эту логику — их производительность по задачам разной сложности не образует предсказуемого паттерна.

Именно эта особенность искусственного интеллекта делает более явными аспекты естественного интеллекта, которые ранее казались тривиальными. Человеческое понимание обладает устойчивостью к синтаксическим вариациям: переформулированный вопрос распознается как семантически эквивалентный. У нас есть метакогнитивные механизмы мониторинга достоверности: мы маркируем неуверенность, различаем знание и предположение. Языковые модели генерируют галлюцинации — фактически неверные утверждения, оформленные с синтаксической уверенностью, — потому что у них нет доступа к референту, только к статистическим паттернам корпуса.

Многовариантность будущего: почему один вопрос к ИИ может иметь несколько равноправных ответов.
Многовариантность будущего: почему один вопрос к ИИ может иметь несколько равноправных ответов.

Различие проявляется и в эффективности обучения. Современные модели требуют экспозиции к триллионам токенов для достижения языковой компетентности. Человеческий ребенок к шести годам слышит порядка 45 миллионов слов и при этом осваивает не только язык, но и каузальную структуру физического мира, социальную динамику, абстрактные концепты. Эта способность к обобщению на основе малого числа примеров указывает на принципиально иные вычислительные принципы — возможно, связанные с инкорпорированными в архитектуру мозга априорными структурами.

Прогресс в возможностях искусственного интеллекта впечатляет, но он не автоматически транслируется в прогресс понимания интеллекта как такового. Инженерный успех и научное объяснение — разные эпистемологические проекты. Мы можем создать систему, демонстрирующую эмерджентные способности, не понимая механизмов их возникновения (ситуация, аналогичная положению дел в нейронауке: детальное картирование мозговой активности сосуществует с фундаментальной непроясненностью природы сознания). Три года интенсивных исследований больших языковых моделей дали значительные эмпирические результаты в области интерпретируемости, но фундаментальные вопросы о природе понимания, референции, концептуального содержания остаются открытыми.

Обучение на вероятностях: почему нейросеть не ищет единственно верный ответ, а взвешивает тысячи возможных вариантов.
Обучение на вероятностях: почему нейросеть не ищет единственно верный ответ, а взвешивает тысячи возможных вариантов.

Научная работа в этой области требует иной временной шкалы, чем технологическая разработка. Нейронаука изучает мозг более ста лет, располагает мощными инструментами визуализации и вмешательства — и тем не менее нейродегенеративные заболевания остаются в основном неизлечимыми. Разрыв между описательным знанием и каузальным вмешательством может измеряться десятилетиями. Понимание устройства естественного интеллекта не дает немедленного практического приложения, но создает концептуальную базу для будущих прорывов — как предшествовала транзистору с разрывом в полвека.

Недетерминированность искусственного интеллекта создает инженерную проблему: требования к надежности и креативности конфликтуют. Снижение температуры генерации повышает консистентность, но редуцирует разнообразие ответов; увеличение — расширяет пространство возможных выходов, но повышает вероятность галлюцинаций и нерелевантности. Это не технический недостаток, который будет устранен следующей версией модели, это фундаментальный компромисс вероятностных систем.

Не баг, а фича: как неопределенность делает ИИ более гибким и адаптивным в диалоге.
Не баг, а фича: как неопределенность делает ИИ более гибким и адаптивным в диалоге.

Задача — не преодолеть недетерминированность, а научиться ее операционализировать: понять, в каких контекстах вариативность является преимуществом (генерация креативного контента, исследование пространства решений), а в каких — риском (критические приложения, требующие верифицируемости). Искусственный интеллект не будет ни человеком, ни классической программой. Это новый класс инструментов, требующий новых практик взаимодействия и новых концептуальных рамок для оценки его возможностей и ограничений.