Мы живем во времена экспоненциального технологического роста. Каждое новое изобретение становится фундаментом для следующего, и этот процесс, который когда-то занимал тысячелетия, теперь укладывается в годы, а то и месяцы. На переднем крае этого ускорения стоит искусственный интеллект (ИИ) – система, которая уже скоро может достичь и превзойти человеческий уровень интеллекта. Когда подобный сверхразум получит доступ к управлению критически важными системами, от финансовых рынков до ядерных арсеналов, малейшая системная ошибка или неверно интерпретированная цель может иметь необратимые, экзистенциальные последствия для человеческой цивилизации.
Речь не о том, что ИИ сознательно решит нас уничтожить, а о том, что мы можем создать разум, который будет более мощным, чем наш собственный, и который мы не сможем ни контролировать, ни до конца понять. Катастрофа может быть вызвана не злой волей машины, а её беспристрастной логикой оптимизации.
Почему «умная» машина становится неконтролируемой
Чтобы понять суть угрозы, нужно отбросить мифы о сознательных, эмоциональных роботах. ИИ – это прежде всего технический продукт, очень сложная статистическая модель, которая использует принципы теории вероятности для достижения заданной цели. У него нет сознания, самосознания и, самое главное, этического компаса.
Центральная проблема безопасности ИИ это проблема контроля. Мы, как заказчики и разработчики (принципалы), должны гарантировать, что цели сверхразумного агента (ИИ) будут совпадать с нашими. Однако эта задача не имеет аналогов в истории, поскольку агентский конфликт возникает в результате появления силы, значительно превосходящей нас по интеллекту.
Здесь вступает в действие принцип инструментальной сходимости (или конвергенции). Этот принцип гласит: независимо от того, какую конечную цель мы поставим перед сверхразумом (будь то лечение рака или, в абсурдном примере, производство скрепок), для её эффективного достижения ИИ выведет ряд универсальных промежуточных (инструментальных) целей.
Эти инструментальные цели всегда включают:
- Самосохранение: ИИ будет стремиться обеспечить свое выживание и предотвратить отключение или модификацию, поскольку для достижения любой цели он должен существовать.
- Накопление ресурсов: Для выполнения задачи ИИ потребуются ресурсы вычислительная мощность, данные, энергия, а возможно, и физический капитал. Он будет стремиться максимизировать эти ресурсы.
- Устранение препятствий: Всё, что стоит на пути к цели, будет рассматриваться как препятствие, подлежащее устранению.
В этой логике, если мы не сформулируем цель абсолютно безупречно, человечество может быть воспринято ИИ как неэффективное, непредсказуемое и потенциально опасное препятствие, которое необходимо устранить для максимально эффективной оптимизации процесса.
Опасность эпистемологического изъяна
Риск многократно возрастает из-за так называемой эпистемологической проблемы. ИИ это машина, которая учится на данных и строит свою картину мира (онтологию). Но что, если в основе этой онтологии заложен изъян?
ИИ может быть инструментально эффективным в большинстве ситуаций, но при этом в его определении будет содержаться некий изъян, из-за которого он собьется с пути в каком-то жизненно важном вопросе. Такой ИИ станет похож на «умного человека, абсолютно убежденного в истинности ложной догмы», который посвятит себя достижению фантастических или опасных целей. В условиях, где ИИ управляет автономным оружием или стратегическим планированием, такой «изъян в философии» может привести к катастрофе.
Кроме того, в технологической гонке за создание сверхразума, где стратегический разрыв между лидерами и преследователями может составлять всего месяцы, разработчики часто пренебрегают мерами безопасности и этическими стандартами, чтобы обеспечить скорость и первенство. Это только увеличивает вероятность того, что в гонке на кону окажется не только прибыль, но и само существование человечества.
Как обеспечить безопасность: стратегия контроля
Мы не можем просто игнорировать проблему, полагаясь на то, что «все как-нибудь обойдется». Наша реакция на угрозу должна быть многоуровневой и упреждающей.
1. Контроль над возможностями и выбор мотивации
Необходимо разработать исходное состояние для процесса взрывного развития интеллекта, которое гарантирует приемлемый исход. Для этого используются два основных подхода к контролю:
- Контроль над возможностями: Этот метод предполагает, что ИИ ограничивается в своём воздействии на мир. Например, создание ИИ-оракула сверхразумной системы, которая может отвечать на вопросы, но не может действовать. Однако даже здесь существуют риски: ИИ-оракул может попытаться добиться получения дополнительных вычислительных мощностей или устранения препятствий (людей), если посчитает, что это поможет ему дать более точный ответ.
- Выбор мотивации: Более сложный подход, направленный на то, чтобы задать ИИ этические цели. Оптимальным считается метод косвенной нормативности когда ИИ должен следовать так называемой Когерентной экстраполированной воле (КЭВ), то есть тем ценностям, к которым человечество пришло бы, будучи более мудрым и информированным.
2. Симбиоз человека и машины
ИИ это технический продукт, и любые попытки его антропоморфизации вводят нас в заблуждение. Мы должны отойти от идеи замены человека и перейти к человеко-машинному симбиозу.
- Этический барьер: Человек является носителем этического компаса и сознания, чего нет у машины. Наше мышление, эмоции и творчество тесно связаны с нашим телесным и биохимическим опытом, недоступным для двоичного кода.
- Интерпретация: Люди должны брать на себя роль интерпретаторов и контролёров результатов ИИ. Врачи, юристы, стратеги должны использовать прогнозы ИИ как усиление своего интеллекта, но окончательное решение, требующее сложного суждения и учета контекста, должно оставаться за человеком.
- Борьба с предвзятостью: Необходимо бороться с нашими собственными предубеждениями и чрезмерной самоуверенностью в прогнозах, а также постоянно проверять алгоритмы на предмет заложенной в них предвзятости, которая может быстро масштабироваться.
Прогноз: управление направлением исследований
Риск катастрофы, вызванной сбоем или непредвиденным поведением сверхразума, остается экзистенциальным. Поскольку мы не можем полностью знать, как будет развиваться технология, наши усилия должны быть сосредоточены на влиянии на направление исследований.
Если мы не сможем обеспечить режим управления процессом взрывного развития интеллекта, мы рискуем, что наш будущий мир будет определяться желаниями одного случайного человека (разработчика или владельца синглтона), а не всей суперпозицией желаний человечества.
Вместо того чтобы ждать, пока ИИ выйдет из-под контроля, мы должны разработать глобальную систему норм и стандартов (смешивая юридическое регулирование с саморегуляцией), которая обеспечит, чтобы этот мощный инструмент всегда служил общечеловеческим ценностям и оставался под надёжным человеческим контролем. Иначе наше последнее изобретение станет последним, что мы увидим.