Добавить в корзинуПозвонить
Найти в Дзене
Код разума

Почему ИИ «галлюцинирует» - и почему вы тоже

ChatGPT иногда выдумывает несуществующие факты. Называет книги, которых не существует. Ссылается на исследования, которых никто не проводил. Это называют «галлюцинациями», и принято считать, что это серьёзный баг, который нужно исправить. А что если это не баг? Что если это - фундаментальное свойство любого интеллекта? Всё, что вы видите - галлюцинация Вот факт, о котором мало кто задумывается. Ваши глаза не передают картинку в мозг, как камера на экран. Они отправляют грубые, дрожащие, зашумлённые сигналы. Чёткое зрение у вас только в крошечной зоне — фовеа, — которая вмещает примерно три символа слева от точки фиксации и пятнадцать справа. Всё остальное ваш мозг достраивает сам. Нейробиологи называют это «контролируемой галлюцинацией». Эксперименты это подтверждают: когда учёные показывали людям текст, перемешивая буквы за пределами маленького окошка вокруг точки фиксации глаза, испытуемые не замечали подмены. Для них вся страница выглядела чёткой. Зрение - это не поток информации от

ChatGPT иногда выдумывает несуществующие факты. Называет книги, которых не существует. Ссылается на исследования, которых никто не проводил. Это называют «галлюцинациями», и принято считать, что это серьёзный баг, который нужно исправить.

А что если это не баг? Что если это - фундаментальное свойство любого интеллекта?

Всё, что вы видите - галлюцинация

Вот факт, о котором мало кто задумывается. Ваши глаза не передают картинку в мозг, как камера на экран. Они отправляют грубые, дрожащие, зашумлённые сигналы. Чёткое зрение у вас только в крошечной зоне — фовеа, — которая вмещает примерно три символа слева от точки фиксации и пятнадцать справа. Всё остальное ваш мозг достраивает сам.

Нейробиологи называют это «контролируемой галлюцинацией». Эксперименты это подтверждают: когда учёные показывали людям текст, перемешивая буквы за пределами маленького окошка вокруг точки фиксации глаза, испытуемые не замечали подмены. Для них вся страница выглядела чёткой.

Зрение - это не поток информации от глаз. Это реконструкция окружающего мира, активно поддерживаемая и ограниченная галлюцинация. Глаза лишь дают сигналы для коррекции ошибок.

Что происходит, когда коррекция ломается

Вот самое убедительное доказательство. В 1760 году швейцарский натуралист Шарль Бонне описал, как его дед, страдавший от тяжёлых катаракт, начал видеть несуществующих лошадей, людей, повозки и здания. Позже такие же галлюцинации начались у самого Шарля, когда его зрение ухудшилось.

Это теперь называют синдромом Шарля Бонне, и он встречается часто среди людей, теряющих зрение. Даже без повреждения глаз любой, кто долго находится в полной темноте, может столкнуться с галлюцинациями - явление, известное как «кино узника». Мозг продолжает «галлюцинировать» мир, но без коррекции от глаз фантазия отрывается от реальности.

Галлюцинация, воображение и память - одно и то же

Способность «галлюцинировать» - это та же способность, которая позволяет вам воображать. Представить яблоко, вспомнить запах моря, спланировать завтрашний день. Восприятие, память и воображение используют одни и те же нейронные механизмы.

Повреждение гиппокампа не только мешает запоминать - оно мешает представлять будущее. Пациент Генри Молайсон, потерявший гиппокамп, не мог ни формировать новые воспоминания, ни воображать новые переживания. Потому что и то, и другое - это одна и та же нейронная операция: генерация предсказания.

Языковые модели делают ровно то же самое. Они предсказывают следующий токен. Иногда предсказание совпадает с фактами - и мы называем это «знанием». Иногда нет - и мы называем это «галлюцинацией». Но механизм один.

И да исследования показали, что модели в основном знают, когда ошибаются. Если попросить модель оценить свою уверенность, она справляется неплохо. Вспомните Лайнуса Полинга - двукратного нобелевского лауреата, который до конца жизни верил в чудодейственную силу витамина C. Гении тоже галлюцинируют.

О связи между галлюцинацией, воображением и интеллектом - в книге «Что такое интеллект?»