После нескольких сеансов мозгового штурма с выдающимся эволюционным биологом Джейкобом Уайльдом из Оксфордского университета в Великобритании мы пришли к интересным выводам о прошлом и будущем эволюции IQ (коэффициента интеллекта) на Земле.
Центральная предельная теорема в статистике утверждает, что для большой выборки независимых единиц распределение вероятностей переменной приближается к нормальному распределению, характеризуемому средней величиной и стандартным отклонением. Хвост распределения экспоненциально подавляется, снижая вероятность того, что отдельная единица окажется далеко за пределами среднего значения по популяции.
Для простоты мы предположили, что статистическое распределение когнитивных способностей в человеческой популяции соответствует нормальному распределению, и использовали данные о численности людей, живших в разное время в истории человечества, чтобы рассчитать, насколько способности самого развитого мозга отклонялись от среднего уровня. Основное допущение заключалось в том, что число параметров, а именно синаптических соединений между нейронами в человеческом мозге, подчиняется нормальному распределению.
В любой момент истории отклонение самого высокого значения от среднего определялось так, чтобы площадь под хвостом нормального распределения вероятностей за пределами этого значения соответствовала одному человеку из общего числа живущих в тот момент.
На основе данных о росте численности населения мы рассчитали, что самые выдающиеся способности мозга изменялись от 5,2 стандартного отклонения выше среднего 50 000 лет до н.э. до 6,47 стандартного отклонения в настоящее время.
Далее мы предположили, что среднее число параметров, а именно синапсов нейронной сети в мозге человека, растет пропорционально среднему объему черепа человека. Это предположение верно для приматов, у которых количество нейронов линейно связано с объемом мозга, но не для других млекопитающих, таких как грызуны, у которых в больших мозгах меньше нейронов на единицу объема. Основываясь на эмпирических данных, мы приняли среднюю плотность в 63,7 миллиона нейронов на кубический сантиметр и использовали верхнюю границу текущих оценок числа синаптических соединений на нейрон — около 9000. Среднее число параметров в человеческой популяции рассчитывалось как произведение этих чисел на средний объем черепа как функцию времени.
Чтобы оценить стандартное отклонение параметров мозга человека, мы предположили, что отношение стандартного отклонения к среднему значению примерно соответствует стандартному отклонению IQ человека как доле от его среднего значения, то есть около 15%. Мы использовали IQ как индикатор, поскольку количество нейронов, являясь хорошим предиктором когнитивных способностей в долгосрочной эволюции, плохо прогнозирует способности в пределах одного вида.
Мы рассчитали значения параметров как функцию времени, используя данные о размерах черепов гоминидов за всю историю человеческой эволюции.
Будущее обещает быть лучше прошлого. Искусственные интеллектуальные системы, такие как крупные языковые модели (LLM), предоставляют нейронные сети, количество параметров которых экспоненциально увеличивается со временем. На сегодняшний день передовые модели содержат около 1,7 триллиона параметров, что составляет примерно 0,2% от среднего числа синаптических соединений в человеческом мозге. Время удвоения этого числа оценивается в 1–2 года.
Остается неясным, как параметры ИИ соотносятся с биологическими синапсами как предикторами когнитивных способностей в больших нейронных сетях. Проще сравнивать человеческий мозг с нейроморфными компьютерами, которые более явно моделируют архитектуру биологических мозгов. На данный момент крупнейший нейроморфный компьютер содержит 0,128 триллиона искусственных синапсов, или примерно 0,015% числа соединений в человеческом мозге.
Исторические данные (слева) о среднем числе нейронных параметров (красная линия) и их максимальном значении среди человеческой популяции (синяя линия), основанные на данных о размерах черепов из ископаемых. Сравнивается с экспоненциальным ростом параметров ИИ в будущем (справа), предполагая время удвоения в 2 года как для LLM (серый), так и для нейроморфных компьютеров (черный).
Наши расчеты показывают, что системы ИИ потенциально превзойдут крупнейшее количество параметров в человеческой популяции в течение ближайших одного-двух десятилетий.
Экспоненциальный рост ИИ ожидаемо достигнет насыщения из-за ограничений электрической мощности. Если ограничить рост потреблением в 10 раз выше современного уровня глобального энергопотребления, то есть 30 тераватт, при текущем потреблении LLM в 1 ГВт, рост будет ограничен примерно 10 циклами удвоения — как раз до момента, когда ИИ приблизится к человеческому мозгу по числу параметров.
Интересно, что как рост человеческого мозга, так и ИИ ограничиваются доступной мощностью с похожими параметрами.
Итог: за последние 10 миллионов лет число параметров в нейронных сетях гоминидов увеличилось на порядок. В ближайшие десятилетия оно может расти экспоненциально за годы в системах ИИ. Уже через 1–2 десятилетия число параметров ИИ может превзойти самое большое число параметров среди людей.
Если вам нравится читать статьи на нашем канале и вы хотите помочь в его развитии, вы можете поддержать канал донатом: