Проект «Звездные врата» представляет собой масштабную разработку искусственного интеллекта, очень похожую на «Скайнет».
Придумывая название, они, вероятно, решили, что «Скайнет» будет слишком вычурным, и выбрали название, которое не имело практически никакого отношения к тому, что они на самом деле создавали.
Скайнет, настоящий злодей в фильмах «Терминатор», был искусственным интеллектом, который пришел к выводу, что техники убьют его, как только поймут, на что способен Скайнет, поэтому он действовал оборонительно и с крайней предвзятостью.
Урок из фильма в том, что люди могли бы избежать войны машин против людей, если бы они изначально воздержались от создания Skynet. Однако Skynet — это AGI (искусственный общий интеллект), и мы пока не достигли этого, но Stargate, несомненно, превратится в AGI. OpenAI, которая находится в центре этих усилий, считает, что мы находимся в нескольких годах от AGI .
Илон Маск, возможно, самый влиятельный технический специалист, связанный с правительством США, похоже, не верит, что Stargate может быть построен. Сейчас он, кажется, прав . Однако все может измениться.
Давайте поговорим о хорошем и плохом, что может произойти, если Stargate будет успешным.
Звездные врата: Добро
США вступают в гонку за создание AGI в масштабе. Тот, кто доберется до этого первым, получит значительные преимущества в операциях, обороне, разработке и прогнозировании. Давайте рассмотрим каждый из них по очереди.
Операции: AGI сможет выполнять огромное количество задач со скоростью машины: от управления оборонными операциями до более эффективного управления экономикой и обеспечения наилучшего использования ресурсов для любого соответствующего проекта.
Эти возможности могли бы значительно сократить отходы, повысить производительность и оптимизировать любую правительственную функцию в экстремальной степени. Если бы он был один, он мог бы обеспечить техническое лидерство США в обозримом будущем.
Оборона: от способности видеть угрозы, подобные 11 сентября, и мгновенно реагировать на них до возможности заранее размещать платформы вооружения до того, как они понадобятся, и планирования оптимального оружия для развертывания (или консервации) — Stargate будет иметь возможность оптимизировать армию США как в тактическом, так и в стратегическом плане, делая ее гораздо более эффективной, охватывая диапазон от защиты отдельных лиц до защиты глобальных активов США.
Ни одна система, основанная на человеке, не должна превышать его возможности.
Разработка: ИИ уже могут создавать своих собственных преемников, тенденция, которая ускорится с AGI. После создания версия Stargate с AGI может развиваться беспрецедентными темпами и в огромных масштабах.
Ее возможности будут расти экспоненциально, поскольку система постоянно совершенствуется и улучшается, становясь все более эффективной и труднопредсказуемой. Эта быстрая эволюция может привести к технологическим достижениям, на достижение которых в противном случае потребовались бы десятилетия или даже столетия.
Эти прорывы могут охватить такие области, как медицинские исследования и освоение космоса, открыв эру преобразующих, беспрецедентных изменений.
Прогнозирование: В фильме «Особое мнение» была высказана идея о возможности предугадывания событий, позволяющего предотвращать преступления до их совершения.
ИИ такого же масштаба, как Stargate, и имеющий доступ к датчикам проекта Nvidia Earth 2, мог бы точнее прогнозировать погодные явления на более отдаленное будущее, чем мы можем делать это сегодня.
Однако, учитывая, к какому объему данных будет иметь доступ Stargate, он должен быть в состоянии предсказать растущую группу событий задолго до того, как человек увидит потенциальную возможность этого события.
От потенциальных катастрофических сбоев на атомных электростанциях до потенциальных отказов оборудования на военных или коммерческих самолетах — все, к чему бы ни прикоснулась эта технология, сразу же стало бы более надежным и с гораздо меньшей вероятностью привело бы к катастрофическим сбоям, поскольку искусственный интеллект Stargate при наличии соответствующих сенсорных сигналов мог бы предвидеть будущее и лучше готовиться как к положительным, так и к отрицательным результатам.
Короче говоря, ИИ такого масштаба, как у Звездных врат, будет подобен Богу по своим возможностям и охвату, а также сможет сделать мир лучше и безопаснее для жизни.
Звездные врата: Плохие
Мы планируем создать огромный интеллект, основанный на информации, которую он узнает от нас. Мы не совсем идеальная модель того, как должен вести себя другой интеллект.
Без адекватных этических соображений (а этика не является глобальной константой), сосредоточенности на сохранении качества жизни и направленных усилий по обеспечению положительного стратегического результата для людей, Звездные врата могут нанести вред многими способами, включая уничтожение рабочих мест, действия, противоречащие наилучшим интересам человечества, галлюцинации, преднамеренное нанесение вреда (ИИН) и самосохранению (Скайнет).
Уничтожение рабочих мест: ИИ может помочь людям стать лучше, но в основном его используют либо для повышения производительности, либо для замены людей.
Если у вас есть команда из 10 человек и вы удваиваете их производительность, но при этом объем задач остается прежним, вам понадобится всего пять сотрудников — искусственный интеллект обучается заменять людей.
Например, ожидается, что Uber в конечном итоге перейдет на беспилотные автомобили. От пилотов до инженеров, AGI сможет выполнять множество задач, а люди не смогут конкурировать с любым полностью компетентным ИИ, поскольку ИИ не нужно спать или есть, и они не болеют.
Без существенных и пока незапланированных усовершенствований люди просто не смогут конкурировать с полностью обученным ИИ.
Действия, противоречащие интересам человечества: Это предполагает, что ИИ-проект «Звездные врата» по-прежнему получает указания от людей, которые склонны мыслить тактически, а не стратегически.
Например, сокращение финансирования пожарных в Лос-Анджелесе было тактически разумным шагом для сбалансирования бюджета, но стратегически оно привело к разрушению множества домов и жизней, поскольку не было стратегическим.
Теперь представьте, что такие решения принимаются в большем масштабе. Конфликтующие директивы будут все более распространены, и опасность какого-нибудь HAL («2001: Космическая одиссея») значительна. «Упс» здесь может нанести неисчислимый ущерб.
Галлюцинации: Генеративный ИИ имеет проблему галлюцинаций. Он фабрикует данные для выполнения задач, что приводит к предотвратимым сбоям. ИИ столкнется с похожими проблемами, но может создать еще большие проблемы для обеспечения надежности из-за его значительно возросшей сложности и частичного создания Генерационным ИИ.
Фильм «Военные игры» изображал ИИ, неспособный отличить игру от реальности, с контролем над ядерным арсеналом США. Похожий результат мог бы произойти, если бы Stargate перепутали симуляцию с реальной атакой.
Преднамеренное нанесение вреда: Stargate станет огромной потенциальной целью как для тех, кто находится внутри США, так и за их пределами. Будь то поиск конфиденциальной информации, изменение его директив таким образом, чтобы он наносил вред, или просто несправедливая помощь какому-либо человеку, компании или правительству, этот проект будет иметь беспрецедентный потенциал для рисков безопасности.
Даже если атака не преследует цели нанести огромный вред, при ее ненадлежащем осуществлении могут возникнуть проблемы, начиная от сбоя системы и заканчивая действиями, которые приведут к значительным человеческим жертвам и материальному ущербу.
После полной интеграции в правительственные операции, он будет иметь потенциал поставить США на колени и создать глобальные катастрофы. Это означает, что защита этого проекта от иностранных и внутренних нападений также будет беспрецедентной.
Самосохранение: Идея о том, что ИИ может захотеть выжить, вряд ли нова. Она лежит в основе сюжетов «Терминатора», «Матрицы» и «Робопокалипсиса». Даже фильм «Колосс: Проект Форбина» был в какой-то степени основан на идее ИИ, который хотел защитить себя, хотя в этом случае он был сделан настолько безопасным, что люди не могли вернуть себе контроль над системой.
Идея о том, что ИИ может прийти к выводу, что проблема, которую необходимо решить, заключается в человечестве, не является большой натяжкой, а то, как он поступил в вопросе самосохранения, может быть невероятно опасным для нас, как показали эти фильмы.
Подведение итогов
Stargate имеет огромный потенциал как для хороших, так и для плохих результатов. Обеспечение первого результата и предотвращение второго потребует такого уровня внимания к этике, безопасности, качеству программирования и исполнению, который превзойдет все, что мы когда-либо пробовали как раса.
Если мы сделаем это правильно (изначально шансы против этого, поскольку мы склонны учиться методом проб и ошибок), это может помочь наступить новой эпохе для США и человечества. Если мы сделаем это неправильно, это может покончить с нами. Так что ставки не могут быть выше, и я сомневаюсь, что мы сейчас справимся с этой задачей, поскольку у нас просто нет большого опыта успешного создания масштабных сложных проектов с первого раза.
Лично я бы поставил IBM во главе этих усилий. Они работали с ИИ дольше всех, имели этику, встроенную в процесс, и имеют десятилетия опыта работы с такими чрезвычайно крупными, безопасными проектами, как этот. Я думаю, что у IBM самая высокая вероятность обеспечить лучшие результаты и меньше плохих в этих усилиях.