Эта новость бьет по нервам, как разряд тока, потому что касается самого личного: ответственности за чужую жизнь.
Я тут недавно задумался: вот едешь ты в своем напичканном электроникой автомобиле, доверился "умному" помощнику, а он взял и сбил пешехода. Машина видела его, распознала, но почему-то не затормозила. А теперь следователь смотрит на тебя и спрашивает: «Кто виноват?» Ты, человек за рулем, или его, машины, "черный ящик"?
Я знаю, что большинство из нас покупается на обещания: «технология спасет миллионы жизней», «машина безопаснее человека, который вечно отвлекается». Да, на дорогах ежегодно гибнет больше миллиона человек, и 90% трагедий из-за нашей, человеческой, глупости и усталости. И я, как и вы, верю, что машины могут сделать мир безопаснее. Но когда случается этот единственный инцидент, вся статистика летит к черту. Вдруг окажется, что спаситель-робот просто бездушный убийца, а крайним сделают вас. Это пугает, потому что в новой эре автоматизации наша судьба, и наша вина, часто скрыта за кодом.
Что такое "черный ящик" и почему он мне не друг?
Для начала давайте разберемся с термином, который часто мелькает в новостях об ИИ, – «черный ящик». Это не какая-то мистическая коробка, а, по сути, сами алгоритмы глубокого обучения, на которых построены современные системы управления.
Представьте: машина училась водить, анализируя триллионы часов реальных поездок. Она не следует жестко прописанным правилам «если то», как старый круиз-контроль. Она принимает решения, основываясь на сложнейшем статистическом уравнении. И вот, когда случается авария, эксперт открывает этот «ящик», а там... хаотичный набор слоев нейронной сети, где каждый пиксель, каждая доля секунды повлияли на финальный результат.
Проблема в том, что даже инженеры не могут дать простого, понятного человеческого объяснения: «Почему?».. Почему система не увидела прицеп грузовика на фоне яркого неба, приняв его за облако?. Почему она решила, что пешеход, находящийся под воздействием веществ, не представляет собой угрозы и можно продолжать движение?.
В суде, где все привыкли к причинно-следственным связям, основанным на человеческой логике, «черный ящик» вызывает ступор. А если нет понятного объяснения, нет и четкого виновника.
Авария с автопилотом это всегда моя вина?
Давайте говорить честно: производители и законодатели пока активно сваливают ответственность на нас, людей, особенно когда речь идет о системах второго или третьего уровня автоматизации.
Это как иметь в машине второго пилота, которому ты доверяешь, но при этом по закону обязан постоянно держать руки на руле и быть готовым перехватить управление. Это и есть проблема передачи управления. Человек существо ленивое и склонное к чрезмерной самоуверенности. Если система работает безотказно 10 000 миль подряд, ты начинаешь читать почту, смотреть кино или даже спать.
И тут случается редкое, непредсказуемое событие внезапно перекрытая дорога, странный объект или велосипедист, ведущий себя не по правилам. Автопилот понимает, что не справляется, подает сигнал, но тебе нужно 10 секунд, чтобы вернуться в реальность и оценить обстановку. Слишком поздно. Трагедия!
В таких случаях, когда система не была полностью автономной (уровня 4 или 5), а требовала контроля человека, виновным признают именно вас, «водителя безопасности», который отвлекся. Национальные управления по безопасности движения уже рекомендовали автопроизводителям сменить название «Автопилот», чтобы не вводить нас в заблуждение.
Если система не полностью автономна, вы обязаны постоянно следить за дорогой. Как только вы отвлеклись, вы становитесь «водителем безопасности», несущим ответственность.
Именно поэтому инженеры пытаются сделать автомобили полностью автономными, исключив человека из цикла принятия решений. Но тут мы натыкаемся на еще более сложные дилеммы.
Как инженеры кодируют нашу совесть?
Самый жуткий вопрос, который приходится решать разработчикам, это «проблема вагонетки».
Представьте: ваш беспилотный автомобиль едет по улице, и внезапно перед ним выбегают трое детей. Единственный способ избежать столкновения с ними свернуть на тротуар, где стоит один взрослый прохожий, или врезаться в столб, что, скорее всего, убьет вас, пассажира. Что должна сделать машина?
Этот выбор, который человек в реальной ситуации принимает инстинктивно и часто нелогично, машине нужно прописать в коде. Инженеры вынуждены кодифицировать наши основные правила этики.
Но вот парадокс: исследования показали, что большинство людей с точки зрения морали одобряют машину, которая жертвует одним пассажиром, чтобы спасти десять пешеходов. Однако, когда их спрашивают, купят ли они такой автомобиль, ответ был единогласным: «Нет».
Большинство людей хотят, чтобы машина жертвовала чужими жизнями ради "общего блага", но купят только тот автомобиль, который любой ценой спасет их самих.
Разве это не лицемерие? Разве мы готовы доверить кому-то, пусть и алгоритму, принимать за нас смертельные решения?. Если машина запрограммирована спасать водителя, она, скорее всего, наедет на толпу, а не врежется в дерево. Кто из нас готов возить своего ребенка в такой машине?.
Кто будет платить за ошибки робота?
Если мы все же говорим о полностью автономном транспорте (уровни 4 и 5), где участие человека исключено, ответственность должна лежать где-то в цепочке производителей. И здесь начинается настоящий юридический ад, потому что ИИ-система это сложный коктейль из множества компонентов: производитель датчиков, разработчик алгоритма, поставщик облачных услуг, и, наконец, автоконцерн.
В Великобритании уже приняли закон, который пытается расставить точки над «i», предлагая формализованную правовую модель страхования и ответственности. Некоторые крупные автопроизводители уже пообещали, что возьмут на себя ответственность, если их полностью автономный автомобиль станет причиной аварии. По сути, они становятся вашими страховщиками.
На практике юридический процесс, вероятно, будет выглядеть так (сильно упрощаю):
- Ответственность перед потерпевшим: Перед пострадавшим (например, сбитым пешеходом или водителем другого авто) в первую очередь может отвечать эксплуатант (автоконцерн) или страховщик, по принципу «единого окна». Это позволяет быстро выплатить компенсацию, не заставляя жертву судиться с десятком компаний.
- Регрессный иск: Затем эксплуатант (или страховщик) предъявляет иск тому, кто действительно виноват в поломке: производителю датчика, который сработал некорректно, или разработчику софта, в котором был сбой.
- Ваша халатность: Здесь важно знать: если вы, как владелец, не установили критическое обновление программного обеспечения, предоставленное производителем, и из-за этого произошла авария, вся ответственность может лечь на вас.
Законодательство движется к модели, где ответственность может нести производитель (или страховщик) по принципу "единого окна", но ваша личная халатность (например, отказ от обновлений) может оставить вас крайним.
Сегодня мы стоим на перепутье. С одной стороны, мы можем получить технологию, которая ежегодно спасет миллионы жизней и навсегда изменит логистику и городское планирование. С другой мы боимся, что эта же технология сделает нас либо безответственными пассажирами, либо козлами отпущения в суде.
Мы видим, как медиа с воодушевлением раздувают любой инцидент с беспилотником, создавая страх и отторжение. А ведь без этого страха, если бы ИИ дали больше свободы учиться в реальных условиях, он бы достиг уровня «безопаснее человека» гораздо быстрее, тем самым спасая больше жизней в долгосрочной перспективе.
Неужели наш страх перед отдельной, пусть и трагической, смертью, вызванной машиной, перевесит моральный императив спасти сотни тысяч жизней, которые уносят водители-люди? И готовы ли мы принять несовершенство ИИ сегодня, чтобы он стал идеальным спасителем завтра?