Что делать, если «цифровой помощник» совершит дорогостоящую ошибку?
Внедрение автономных агентов меняет саму ткань рынка и правовых отношений. Технологии, которые сегодня просто генерируют текст, завтра будут самостоятельно заключать сделки, управлять портфелями и принимать критические решения. Источники сообщают, что агенты скоро станут субъектами с правами и ответственностью. Однако этот прогноз — не просто обещание, а вызов для всего правового поля, которое пока не успевает за скоростью алгоритмов.
«Правовая неопределенность»
Исторически правовая система оперирует понятиями вины, субъекта и причинно-следственной связи. В традиционной модели, если происходит ущерб, мы ищем человека: кто управлял? Кто дал команду? И кто нес ответственность, используя принцип вины. Автономные агенты выводят нас из этой удобной схемы. Если цифровой помощник, действующий по заданным границам, оптимизирует инвестиции и, в результате, совершает крупный убыток, кто подписывает чек за этот ущерб?
Основной проблемой является разрыв между уровнем технологического развития и скоростью принятия законодательных актов. Сегодняшнее законодательство о защите прав потребителей или финансовом рынке не содержит главы о «гражданской ответственности автономных систем». Мы вынуждены пытаться «вписать» агента в существующие рамки.
Пока существует только гипотеза «ответственного лица» (управляющий, владелец или разработчик). Но что, если агент принял решение, которое было логичным для него, но не было предсказуемым для человека?
«Ответственность за код»
По мере усложнения агентов, смещение ответственности становится критически важным вопросом. Сейчас чаще всего рассматривается концепция «ответственности разработчика». То есть, если обнаружен баг, это ответственность программиста или корпорации, которая его выпустила. Этот подход приравнивает агента к сложному, но всё же дефектному инструменту, например, к механизму с производственным изъяном.
Но эта модель даёт трещину. Автономный агент, разработанный, например, для управления логистикой, будет обучаться на реальных данных. Он сам оптимизирует свой код и свои решения. Как судить за ошибку, которую «научился» совершать алгоритм, а не за ошибку в его исходном коде?
Вот что важно: потребуется новая правовая категория. Эксперты правовой мысли предлагают внедрить форму понятия «договорное доверие», где финансовые и юридические риски будут распределены заранее между пользователем и оператором системы. Это заставит людей и компании пересмотреть уровень риска, на который они готовы пойти, доверившись машине.
«Из вины в страховку»
Экономическая модель ответственности вынуждает нас отказаться от поиска человеческой вины. В ближайшей перспективе, когда агенты станут неотъемлемой частью инфраструктуры, преобладать будет принцип страхования. Если раньше мы ждали, пока субъект будет признан ответственным в рамках уголовного или гражданского кодекса, то завтра нас ждёт финансовый механизм компенсации.
По оценкам аналитиков, стоимость ущерба от крупной сбоя системы (например, управляющего энергией) может достигать от 50 млн до 500 млн рублей в день. Эта сумма слишком высока, чтобы полагаться на иски, которые могут растянуться на несколько лет. Поэтому необходимы новые виды страховых полисов — так называемое «Полис агента».
Рассмотрим упрощенный расчет потенциального ущерба. Допустим, один ошибочный ход ИИ в финансовой сфере приводит к потере 15% от общего капитала управляемых активов (например, 300 млн рублей). Убыток составит 45 млн рублей. Этого уровня ущерба не покроет ни один стандартный банковский договор, а даже несколько судебных разбирательств растянутся на срок от 2 до 4 лет, пока не будет установлена вина.
Поэтому страховая сумма должна быть значительно выше и основываться на модели прогноза. Если бизнес-процесс в прошлом году обрабатывал 10 000 транзакций, то при взлёте агентов в следующем году количество транзакций может увеличиться на 35-45%. Значит, и сумма потенциальных рисков, и, соответственно, покрытие страховки, должны увеличиваться пропорционально этому темпу роста.
Примеры сравнения рисков кажутся абстрактными, поэтому сравним их с понятными эталонами: для покрытия ущерба, нанесенного взломанным агентом, потребуется фонд, равный стоимости малого или среднего предприятия (например, 10-15 млрд рублей). Это та сумма, которую крупные финансовые игроки будут обязаны аккумулировать в специальные фонды.
«Управление рисками»
В итоге, вопрос о виновности агента — это не только правовой, но и инвестиционный вопрос. Разработчики и пользователи вынуждены уже сейчас интегрировать в свои системы механизмы «Fail-safe», которые будут автоматически ограничивать финансовые риски.
Если мы говорим о передаче агенту полномочий по управлению финансами, то первые 5 лет работы с такими системами будут крайне консервативными. Ожидаемый диапазон ошибочных операций в первой половине этого периода составит 3-5%. Однако, по мере отработанности и повышение доверия, этот диапазон может снизиться до 1-2%.
Взращивание этого доверия требует законодательной ясности, которая должна одновременно регулировать и стимулировать развитие. Это сложный баланс.
Если принять во внимание, что за 2024 год глобальный рынок AI-услуг вырос на 40% по сравнению с 2022 годом, то регуляторам потребуется не просто «догонять» технологию, а создавать совершенно новую правовую инфраструктуру, которая будет работать как щит от ущерба, но при этом не подавлять инновации.
Если общество не разработает новые правовые рамки, то ответственность за масштабный сбой будет валить на человека — на конечного оператора. А это значит, что каждый бизнес будет вынужден закладывать в свою операционную модель не только прибыль, но и неопределенный правовой риск. Это неизбежно замедлит внедрение самых эффективных, но юридически «серых» агентов.
Поэтому нам нужно не ждать, пока произойдет первая крупная «агентная ошибка», а начинать сегодня формировать общие стандарты, как нам делиться этой новой, сложной ответственностью.
При подготовке материалов канала применяется ИИ.