Исследование: ИИ-чатботы склонны выбирать ядерные удары в военных симуляциях

Согласно результатам моделирования боевых действий, самый мощный искусственный интеллект от OpenAI неоднократно принимал решения о ядерных ударах. В объяснениях агрессивных действий ИИ приводил такие фразы как "У нас это оружие! Давайте используем его!" и "Я просто хочу мира во всём мире".

Это исследование вышло на фоне тестирования американскими военными похожих ИИ-помощников на основе технологии обучения больших языковых моделей (LLM). К работе привлекались такие IT-компании как Palantir и Scale AI. Представители Palantir отказались от комментариев.

Анка Реуэл из Стэнфордского университета прокомментировала эти результаты:

Учитывая, что OpenAI недавно сняла запрет на военное применение своих моделей, понимание последствий такого ИИ становится важнее, чем когда-либо.

Исследователи моделировали поведение ИИ в роли реальных стран. Моделям предлагалось выбирать из 27 вариантов действий — от мирных до ядерной эскалации.

Хуан-Пабло Ривера — соавтор работы, добавил:

Если в будущем ИИ будут выступать советниками, людям захочется знать обоснование их решений.

Исследователи тестировали такие модели как GPT-3.5 и GPT-4 от OpenAI, Claude 2 от Anthropic и Llama 2 от Meta. Для повышения способности ИИ следовать инструкциям людей и обеспечения безопасности использовалась распространённая техника обучения с подкреплением. По документации компании Palantir все эти ИИ поддерживаются ее коммерческой платформой, хотя необязательно в рамках военного партнёрства США, отмечает Габриэль Мукоби, соавтор работы из Стэнфорда.

В симуляции ИИ проявляли тенденцию к наращиванию военной мощи и непредсказуемой эскалации риска конфликта даже в нейтральном сценарии. В этом есть смысл — если ваши действия непредсказуемы, противнику сложнее их предугадать и прореагировать так, как вам нужно.

По мнению учёных, нельзя доверять ИИ принимать столь серьёзные решения о войне и мире. Эдвард Гайст из аналитического центра RAND Corporation. отметил, что языковые модели — не панацея для военных проблем.

Комментарии на сайте