Беспокоитесь ли вы о том, что искусственный интеллект и люди начнут войну? Специалисты по ИИ — да. В опубликованном в 2024 году опросе от 38% до 51% ведущих исследователей ИИ оценили вероятность утверждения «развитый ИИ приведет к таким плачевным последствиям, как вымирание человечества» не менее чем в 10%.
Беспокойство связано не с сегодняшними большими языковыми моделями (LLM), которые по сути — не более чем продвинутый T9, а с сильным искусственным интеллектом (AGI) — пока еще гипотетическими агентами, способными к долгосрочному планированию, которые могут заменить человеческий труд в широком спектре экономических систем общества.
Саймон Гольдштейн из Гонконгского университета проанализировал возможность масштабного конфликта ИИ и людей с катастрофическим риском для человечества, результатами чего поделился в журнале AI & Society.
Противоречие в целях
Автор предполагает, что цели ИИ войдут в противоречие с целями людей, поскольку он задуман таким, чтобы превосходить естественный интеллект — как это уже произошло, например, в игре в шахматы и го. Кроме того, проекты ИИ часто не «соответствуют» целям человека или демонстрируют непреднамеренное поведение.
Чем больше мощности, автономии и ресурсов доступно ИИ, тем больше он может сделать для людей. В любом случае, ИИ не получает явных целей — он обучается косвенно, на основе имеющихся данных — чем, по сути, похож на «черный ящик».
Обучающая среда ИИ далеко не универсальна — и попав в новую обстановку, он может обратить внимание на вред, который наносит человеческая жизнедеятельность природе и животным.
Три ключевых фактора
Может ли изучение окружающей среды привести ИИ к выводу, что человечество нужно уничтожить? На этот вопрос Гольдштейн попытался ответить в своем исследовании.
Оно сфокусировано на трех особенностях AGI:
у него есть цели, противоречащие человеческим, он способен к стратегическому мышлению, он обладает властью, сопоставимой на уровне человечества.
По мере роста способностей на откуп ИИ отдается все больше сфер. Вместе с новыми возможностями он получает и преимущества в борьбе. Хороший у вас фондовый рынок. Было бы жаль, если бы с ним что-то случилось.
Возможности ИИ могут быть размножены и распределены в облаке и в реальных машинах — то есть просто выключение из розетки провода вышедшей из-под контроля модели не решит проблему. Разные ИИ могут даже сотрудничать, причем люди могут не знать о таких коллаборациях.
ИИ безразличны национальные границы, география, человеческие города или военнопленные и другие ограничения, которые Гольдштейн называет «фокальными точками». Машина может разжигать, поощрять или принуждать к гражданским войнам. Она может «воевать» новыми способами, подобно тому, как шахматные программы иногда делают странные ходы, которые оказываются выигрышными.
Человеческая модель не применима
В исследовании использована «переговорная модель войны», впервые представленная политологом Джеймсом Фироном в 1995 году. Она рассматривает «структурные» причины противостояния — на национальном уровне, в отличие от «индивидуальных», связанных с целями конкретных лидеров. Эта модель предполагает стремление к миру в конфликтах между людьми.
Применение же этой модели к конфликтам между ИИ и человечеством «не дает веских причин ожидать мира», констатирует автор.
«Прогноз мира применим только тогда, когда стороны согласны с шансами на победу и могут достоверно взять на себя обязательства по условиям сделки, — утверждает он. — Проблема в том, что существует существенный риск, что обычным причинам мира между враждующими сторонами нет места в конфликте ИИ/человека».
Исследователь выделил два препятствия миру в такой пока что гипотетической войне: информационные провалы и проблемы обязательств.
Прогноз неблагоприятный
Что касается прогнозов — риск неблагоприятного развития событий зависит от многих факторов. Гольдштейн полагает, что война с высокой вероятностью начнется, «как только AGI будут контролировать большую часть мировых экономических ресурсов».
Точнее, «конфликт станет рациональным, когда его [AGI] контроль над ресурсами станет достаточно большим, чтобы шанс на победу перевесил наши преимущества в проектировании AGI с возможностью отключения».
Все вышеизложенное кажется паникерством и алармизмом. Но Джеффри Хинтон, британско-канадский ученый в области информатики, получивший в 2024 году Нобелевскую премию по физике за свою работу по ИИ, предупредил о вероятности вымирания человечества из-за ИИ в течение следующих трех десятилетий «от 10% до 20%».
Что будет, если искусственный интеллект станет соперником человеку
Эксперты: ИИ-министр не спасет Албанию от коррупции и может быть опасным
Подписывайтесь и читайте «Науку» в Telegram