Звучит как шутка: возьмите программу, которая угадывает следующее слово в предложении, и получите искусственный интеллект. Но именно так это и работает.
Вот простой пример. Попробуйте продолжить:
"Я уронил боулинг-шар на скрипку, поэтому мне пришлось отнести её в..."
Вы наверняка подумали "ремонт". Но чтобы это понять, нужно знать, что скрипки хрупкие, а боулинг-шары — тяжёлые. Нужно понимать физику, причинно-следственные связи, и даже то, что "её" относится к скрипке, а не к шару.
Оказывается, предсказание следующего слова — это задача, которая требует понимания всего. Буквально всего: физики, психологии, истории, логики, эмоций.
Исследователи называют это "AI-complete task" — задача, решение которой автоматически означает создание общего искусственного интеллекта.
Когда нейросеть обучается предсказывать слова на миллиардах текстов, она вынуждена построить внутри себя модель мира. Иначе она просто не сможет угадывать правильно.
Именно поэтому ChatGPT может писать код, объяснять квантовую физику и шутить — хотя его никто этому специально не учил. Он просто очень хорошо научился предсказывать, что будет дальше.
Подробнее о том, как простое предсказание превращается в интеллект — в книге "Что такое интеллект?" Блеза Агуэры и Аркаса, вице-президента Google Research.