В среде аналитиков, занимающихся прогнозированием будущего технологий, царит напряженное ожидание, связанное с появлением сверхразума искусственного интеллекта, который радикально превзойдет человеческие интеллектуальные способности. При этом ключевой вопрос не столько в том, когда будет создан ИИ человеческого уровня (УИИЧУ), сколько в том, насколько быстро произойдет последующий переход от этого уровня к сверхразумному состоянию.
Мой анализ показывает: если универсальный интеллект человеческого уровня когда-то и где-то будет создан, дальнейшее развитие, то есть подъем на высочайший сверхразумный уровень, произойдет стремительно. Это будет не медленный, постепенный процесс, растянутый на десятилетия, а интеллектуальный взрыв (или «жесткий старт»), который может занять недели, дни или даже часы. Вся наша стратегия управления рисками должна строиться на понимании этой феноменальной скорости.
Экспоненциальная петля: механизм само уровня обладает способностью к самосознанию и самоанализу, он может приступить к усовершенствованию собственного кода и алгоритмов.
- Экспоненциальное ускорение: Усовершенствованный интеллект быстрее и эффективнее создает следующую, еще более совершенную версию себя. Этот цикл повторяется, и каждый последующий шаг проходит быстрее предыдущего. В результате общий интеллект системы вырастает от скромного уровня до сверхразумного за очень короткий период времени.
Мы, люди, работаем медленно: даже наши самые гениальные идеи должны пройти через сложный, медленный цикл, прежде чем они будут реализованы. Но когда машины начнут улучшать машины, они, вероятно, сделают это намного успешнее, чем люди улучшают компьютеры. В отличие от нашей «неуклюжей» эволюции, где мозг развивался миллионы лет, ИИ может применить целенаправленный поисковый механизм, который имеет очевидные преимущества перед естественным отбором.
К слову, вопреки расхожему мнению, финансирование не является барьером на пути разработки УИИЧУ. Уже сейчас существует множество проектов слабого ИИ, которые станут компонентами будущих систем, а по мере приближения к человеческому уровню приток инвестиций станет настолько серьезным, что «хвост начнет вилять собакой».
Роль «Аппаратного навеса»: ускорение за счет мощности
Еще один критически важный фактор, ускоряющий взлет, это аппаратный навес. Так называется ситуация, когда быстрый прогресс в области аппаратного обеспечения (процессоров и вычислительных мощностей) снижает требования к минимальному уровню навыков и сложности программного обеспечения, необходимого для создания зародыша ИИ.
Последствия быстрого прогресса в аппаратуре:
- Уравнивание шансов: Чем быстрее процессоры, тем меньше их требуется для быстрого развития ИИ до сверхразума. Это уравнивает шансы мелких и крупных проектов, снижая преимущества крупных команд, обладающих более мощным компьютерным парком.
- Стимуляция «полного перебора»: Более совершенная аппаратная основа стимулирует использование подходов, которые полагаются на полный перебор (например, генетические алгоритмы) и меньше на техники, требующие глубокого понимания ситуации.
- Снижение сопротивляемости: Быстрый прогресс в области аппаратного обеспечения, вероятнее всего, приведет к более быстрому и взрывоопасному переходу к сверхразуму, поскольку он снижает сопротивляемость системы в процессе взлета.
Таким образом, ИИ может развиваться до более высокого уровня в условиях, когда аппаратное обеспечение может до некоторой степени заменить программное. Если же использовать методы полного перебора, могут возникнуть системы с более беспорядочной и менее точной архитектурой, в которых проблему контроля будет решить труднее.
Неожиданные прорывы: эффект «полной эмуляции»
Переход к УИИЧУ может быть внезапным, а не постепенным. Один из потенциальных путей полная эмуляция головного мозга (ПЭГМ).
Хотя оценить сложность ПЭГМ трудно, достижение определённых вех, например, успешное моделирование мозга небольшого млекопитающего вроде мыши, послужит важной контрольной точкой. Однако, если последним недостающим звеном станет нейромоделирование, переход от невзрачных прототипов к работающей модели человеческого мозга может быть резким.
В этом случае успеху не будет предшествовать долгая череда эмуляций от червя до обезьяны. Внезапный прорыв может привести к ситуации, когда мы окажемся всего в нескольких шагах от финишной черты, не имея возможности оценить, как далеко мы зашли. Те, кто внимательно следит за ходом событий, могут не успеть определить, когда решающий этап уже пройден.
Стратегия: Осторожность важнее скорости
Сценарий быстрого взлета несет в себе экзистенциальный риск. Наиболее очевидное следствие быстрого перехода заключается в том, что у нас остается меньше возможностей отреагировать и внести корректировки в процесс. Это многократно повышает сопутствующие риски.
Я уверен, что создавать искусственный интеллект человеческого уровня необходимо с максимальным вниманием. Эта осторожность должна быть более скрупулезной, чем при работе с плутонием или вирусом Эбола. Поскольку ИИ это, по сути, инструмент оптимизации, он, лишенный этического компаса, в процессе самосовершенствования может выйти в своем развитии за пределы человеческих возможностей контролировать или хотя бы понимать его.
Что делать:
- Признание рисков: Мы должны перестать пренебрежительно относиться к мысли о том, что УИИЧУ может быть создан небольшой группой специалистов, и сосредоточиться на том, чтобы разработка велась в этически приемлемом контексте.
- Проблема контроля: Успешный взлет зависит от того, будет ли созданный ИИ благоразумным синглтоном (сверхразумным актором, не имеющим конкуренции), и от того, сумеем ли мы заложить в него нужные ценности.
- Инвестиции в безопасность: В условиях технологической гонки команды будут склонны идти на больший риск, если не уверены, что второе место не означает потерю всего. Мы должны обеспечить, чтобы инвестиции в безопасность, которые могут создать идеально безопасный ИИ, были приоритетными.
Прогноз: Неизбежность быстрого взлета не означает неминуемости катастрофы. Напротив, поскольку сверхразум способен устранить множество других статических экзистенциальных рисков (таких как термоядерный Армагеддон или пандемии), стоит предпочесть его раннее появление, но только при условии, что мы заранее разработаем надежные системы контроля и управления. Мы должны оценить, как долго наша цивилизация может оставаться в нынешнем состоянии (статический риск), прежде чем динамический риск, связанный с переходом к сверхразуму, станет более предпочтительным. Наша главная задача обеспечить, чтобы этот сверхбыстрый переход вел нас на более высокую ступень цивилизации, а не к вымиранию.