Представьте ситуацию: вы видите, как поезд несется по пути, на котором работают пятеро железнодорожных рабочих. Рабочие не знают о приближении поезда, а машинист не видит рабочих. Перед вами — стрелка, которую вы можете переключить и отправить поезд на запасной путь. Однако на запасном пути тоже работает человек, но один. Трагедии не избежать при любом раскладе, но у вас есть возможность вмешаться и переключить стрелку, чтобы минимизировать количество жертв. Как поступите в такой ситуации: переключите стрелку или оставите все как есть?
Этот мысленный эксперимент называется «проблема вагонетки», он существует в разных формулировках и предлагаемых обстоятельствах, но его результат заключается в одном — выборе человека, основанном на внутреннем ощущении морали.
Как разработчики систем автономного вождения решают проблему вагонетки
Сегодня, когда внедрение автономного транспорта носит массовый характер, многие задаются вопросом: как в подобных ситуациях будет действовать автономный транспорт и как он будет решать вопросы, затрагивающие мораль и этику. На чем будут основаны принятые им решения.
Обстоятельства, описанные в «проблеме вагонетки», примерно моделируют сложность дилеммы, которая может возникнуть на дорогах общего пользования перед автоматизированным транспортным средством. Поэтому перед разработчиками систем автономного вождения стоит сложная задача — создать технологию, которая будет моментально принимать точные и безопасные для всех участников движения решения, а также определить критерии обеспечения безопасности. Кроме того, необходимо решить вопросы, связанные с глобальными последствиями принимаемых решений и с их влиянием на человеческие судьбы.
Не ставить под угрозу, а предотвратить риск
Впрочем, «Проблема вагонетки» — хорошая основа для философской дискуссии, но не самая точная модель реального мира. В контексте автономного транспорта проблематика, задачи, мотивы и приоритеты определены немного иначе и сложнее. В этом случае работают другие нормы: технология не выбирает, кто лучше подходит на роль жертвы, она должна исключить опасность.
В одном из исследований*, посвященному этике автономного транспорта и решению схожих дилемм, сформулировано мнение, которое наиболее точно объясняет логику: автономное транспортное средство должно соблюдать общественный договор с другими участниками движения. Этот договор уже заложен в правилах дорожного движения и законах. Грубо говоря, система автономного вождения обязана учитывать и соблюдать интересы всех участников дорожного движения. Но, если кто-то нарушит свои обязанности по отношению к автономному автомобилю, то автопилот также должен соблюсти интересы нарушителя и сделать все возможное (в рамках своих технических возможностей, закона и ПДД), чтобы попытаться избежать столкновения. Но ключевой момент заключается в том, что автономное транспортное средство не должно исправлять чужую ошибку за счет вовлечения третьих лиц, ставя их под угрозу своими действиями.
Поэтому в основу этики автономного транспорта заложен принцип предотвращения трагедии. Главный фокус разработчиков и инженеров — на создании системы, которая минимизирует риск происшествий, а в перспективе полностью устранит их. По данным статистики и исследований в 80-90% случаев причиной дорожно-транспортных происшествий является человеческий фактор. Поэтому снижение его влияния — самый эффективный путь к повышению безопасности.
Как решаются вопросы обеспечения безопасности
Этические рамки автономных транспортных средств не устанавливаются компаниями-разработчиками технологии, но они основаны на пересечении нескольких основных принципов:
- соблюдение правил дорожного движения и законов;
- приоритет предотвращения происшествий;
- соответствие международным стандартам;
- непрерывное совершенствование технологии;
- обучение технологии на основе реальных данных и симуляций самых редких сценариев;
- четкое разделение ответственности;
- развитие инфраструктуры;
- повышение осведомленности общества;
- регулярное обновление требований к автоматизированным транспортным средствам.
Каждый из пунктов так или иначе влияет на безопасность автономных автомобилей и уровень доверия людей к технологии. Автопилот невозможно научить человеческому суждению, чувствам и эмоциям, но его можно сделать надежным. Поэтому главная задача обеспечения безопасности заключается не только в четком следовании этим принципам, но и в доведении зрелости технологии до максимального уровня.
Как устроены механизмы безопасности в автономном транспорте
Так как же будет действовать автономный транспорт на дороге, если возникнет критическая ситуация и какие системы за это отвечают? Помимо вопросов этики и понимания базовых принципов существует комплекс защитных мер, механизмов и алгоритмов реагирования.
Архитектура современных автономных транспортных средств предполагает три основных аспекта: восприятие, прогнозирование и принятие решений. За восприятие дорожной обстановки и распознавание опасности отвечают высокоточные датчики: камеры, радары и лидары. Именно они в режиме реального времени собирают данные и создают цифровую карту окружающего пространства. За прогнозирование и принятие решений отвечает вычислитель, который анализирует обстановку, прогнозирует развитие событий, оценивает риски и принимает решение. Кроме того, существует еще ряд вспомогательных решений, которые позволяют увеличить уровень общей безопасности. Например, для предотвращения отказов дублируются все критические системы, а для контроля состояния автомобиля в реальном времени используются системы удаленного мониторинга. Даже в случае критических отказов автономный автомобиль знает, что делать: он может применить так называемый «маневр минимального риска» — самостоятельно остановиться в безопасном месте и вызвать себе техподдержку.
Проблема вагонетки — теоретическая задача, связана с моралью и этикой человека в первую очередь, поэтому в реальности автономный транспорт не решает ее в классическом виде, а переосмысливает саму постановку вопроса. Система автономного вождения не выбирает «между двух зол», а действует в логике предотвращения риска: она не принимает моральных решений о том, чья жизнь «ценнее», а следует общественному договору, закрепленному в законах и правилах дорожного движения. Инженерная же задача в данном случае — устранение сценариев еще до момента, когда подобный выбор становится необходимым.
*A. D’Amato et al., Exceptional Driving Principles for Autonomous Vehicles, 2022 J. L. & Mob. 2.