Человеческий фактор
Инцидент на трассе 101, имевший место в апреле 2018 года, когда Tesla Model X врезалась в разделительный барьер и погиб водитель, инженер Apple Вэй Хуан, или наезд самоуправляемого кроссовера на пешехода по имени Элен Херцберг в городе Темпе, штат Аризона, тоже со смертельным исходом, каждый раз заставляли общественность вновь возвращаться к обсуждению безопасности и надежности технологии. Но случай с Джошуа Брауном представляет особую важность, поскольку был первым.
Система помощи водителю на шоссе, которую Tesla устанавливала в свои автомобили, не пользовалась особым доверием еще до аварии. Первая версия системы была выпущена 14 октября 2015 года в качестве обновления программного обеспечения для Model S. Функция получила название Autopilot. Сначала она представляла собой, по сути, ухудшенный вариант функции помощи водителю в пробке, отвергнутой инженерами Chauffeur в 2012 году. Ее задача состояла в том, чтобы избавить человека от монотонного управления на трассе, автоматически удерживая машину в текущей полосе. Там обычно нанесена разметка, сама дорога поддерживается в хорошем состоянии, а доступ возможен только через въезды и съезды.
Вспомните, испытания в Google выявили тенденцию человека за рулем «отключаться», как только активирован автопилот. Соответственно, высок риск того, что в случае опасности он (или она) будет реагировать слишком медленно. Среди экспертов по безопасности движения это получило название «проблемы передачи управления» (Handoff Problem), причем тесты NHTSA показали, что людям на перехват управления может потребоваться до 17 секунд. Это очень много – на обычных для шоссе скоростях машина проходит за это время четверть мили.
Внутри коллектива Chauffeur много обсуждали автопилот Tesla. Мы все сошлись во мнении, что Tesla продвигает новую функцию слишком агрессивно. «Мы разрабатывали такие вещи, – говорил Урмсон, – и понимаем, насколько это сложно. У них это работать не будет».
Мы считали, что авария с человеческими жертвами по вине автопилота Tesla – только вопрос времени. И когда она случилась, мы опасались, что общественное мнение сразу охладеет к беспилотным технологиям. Кроме того, могло последовать ужесточение законодательства, в свою очередь, откладывающее переход к модели «транспорт как услуга» – что было бы несправедливо по отношению к технологии, способной сократить число смертей на дорогах на 90–95 %.
Поэтому Chauffeur делала, что могла. В том же месяце, когда Tesla выпустила свой автопилот, мы опубликовали на сайте Medium статью, в которой подняли серьезные вопросы, связанные с системами помощи водителю. Кроме того, мы объясняли свой отказ от разработки подобных решений в пользу полной автономности. «Люди, как правило, быстро начинают доверять новой технологии, как только видят, что она работает. В результате им сложно то отключаться от вождения, то обратно включаться в него в присутствии технологии, специально созданной, чтобы отстранить их. Есть и другая проблема – контекст. Вернув себе управление, будешь ли ты в достаточной степени владеть дорожной обстановкой, чтобы быстро принимать решения?» Заключительные слова статьи особенно мне нравятся: «Принято думать, что научить автомобиль передвигаться в автоматическом режиме очень сложно. Так и есть. Но мы считаем, что отнюдь не проще заставить человека следить за дорогой, когда он устал, ему скучно, а технология говорит ему: “Расслабься. У меня все под контролем… Пока что”».
С моей точки зрения, Tesla поступила безответственно, выпустив свой автопилот. Чтобы активировать функцию, владелец машины должен был сначала подтвердить, что постоянно будет держать руки на руле и следить за дорогой. Также нужно было подтвердить понимание, что продукт находится в состоянии бета-версии, то есть опытного образца. Действия Маска были внутренне противоречивы и вызывали много вопросов. Он предлагал покупателям попробовать новый продукт, дающий возможность не следить за дорогой – с той маленькой оговоркой, что, пользуясь им, они обязаны постоянно за ней следить. Политику Tesla считали опасной не только в Chauffeur. Сооснователь Zipcar Робин Чейз, внимательно следившая за новостями в области автономного вождения с момента ухода из знаменитой каршеринговой фирмы, говорит: «Нельзя выпускать подобную вещь на рынок, сказав, что она не до конца отлажена и за ее работой надо внимательно следить. Это слишком трудно».
То, чего опасались многие из нас, произошло всего через семь месяцев после выхода автопилота Tesla на рынок. 7 мая 2016 года сорокалетний Джошуа Браун стал первой жертвой аварии с участием самоуправляемого автомобиля – как мы и думали, это была Tesla Model S с активированным автопилотом.
Сорокалетний предприниматель в области информационных технологий жил в городе Кантон, штат Огайо. Ему принадлежала фирма Nexu Innovations Inc., специализировавшаяся на предоставлении доступа в интернет в местах с недостаточным проникновением других операторов, например в трейлерных парках.
Прежде чем открыть свое дело, Браун поступил в Университет Нью-Мексико, где изучал физику и информатику, но завербовался во флот до окончания учебы. Провел там одиннадцать лет, служил успешно, получил специальность старшего техника по уничтожению боеприпасов взрывчатых веществ – иными словами, был экспертом высшего класса по обезвреживанию бомб и мин. Часть карьеры провел в Ираке, разряжая самодельные взрывные устройства и переправляя их потом в Соединенные Штаты для исследования. Некоторое время служил в Группе разработки специальных морских вооружений, известной также как 6-й отряд спецназа ВМС «морские котики» (Navy SEALs Team Six).
Другой страстью Брауна был его автомобиль, Tesla Model S, который он приобрел в апреле 2015 года, чуть больше чем за год до рокового инцидента. Он ласково называл машину «Тесси» и к маю 2016 года проехал на ней 72 000 км. Функция автопилота нравилась ему до такой степени, что он снимал ее работу и выкладывал ролики на YouTube. За семь месяцев, прошедших между релизом функции и его гибелью, таких роликов накопилось примерно два десятка. «В целом она работает отлично», – с энтузиазмом говорит Браун в одном из них, рассказывая зрителям об ограничениях автопилота, и при этом его машина движется по узкой, извилистой, холмистой второстепенной дороге. Замечу на всякий случай, что на подобное автопилот не был рассчитан вообще.
Пока что наибольшее число просмотров приходится на ролик Брауна, снятый в Кливленде. Его машина движется на север там, где два рукава дороги I-480 сливаются, давая начало шоссе Дженнингс. На видеорегистраторе видно, что он приближается по правой полосе шоссе к съезду на улицу Спринг-роуд и в этот момент белый грузовик резко перестраивается через три полосы и оказывается перед ним. Не среагируй автопилот вовремя, грузовик въехал бы в борт Tesla. Программное обеспечение сначала заставило машину уклониться вправо, уходя от столкновения с грузовиком, а потом притормозило, давая ему возможность встроиться в полосу перед собой. Браун выложил запись этого случая на YouTube под названием «Автопилот спасает Model S» (Autopilot Saves Model S).
«Этот грузовик, – писал Браун на YouTube, – вообще не видел мою Tesla. Я тоже, честно говоря, не смотрел в этом направлении… Опасность осознал только тогда, когда Тесси включила звуковой сигнал “Немедленно возьмите управление”… Это была ошибка второго водителя… Тесси прекрасно справилась… Я впечатлен. Молодец, Илон!»
Генеральный исполнительный директор Tesla Илон Маск увидел ролик и поместил ссылку на него в твиттере, так что его увидели миллионы подписчиков. Браун был в восторге. «@elonmusk заметил мой ролик, – писал он со своего аккаунта @Nexuinnovations. – Мои тесты, поездки, разговоры увидело и услышало так много людей, я на седьмом небе!»
В первую неделю мая 2016 года Браун отправился в Орландо. Вместе с семьей он собирался отдохнуть и посетить Disney World. В ту субботу, седьмого мая, он решил съездить на рабочую площадку в Седар-Ки, штат Флорида. Закончив дела там, он направился на своей Tesla к месту следующей встречи, на этот раз – в Северной Каролине. По мнению следователей, он ехал по дороге штата Флорида номер 24 (SR 24) до города Бронсон, где повернул на восток на дорогу U.S. 27A, которая вскоре превратилась в обычную дорогу с двумя полосами в каждую сторону и разделителем посередине, какие часто встречаются в сельской местности, с поворотами налево и пересечениями со второстепенными дорогами. Автомобиль оттуда может въехать на трассу, только остановившись у знака «Движение без остановки запрещено». Из 41 минуты, которые Браун провел на SR 24 и U.S. 27A, автопилот был задействован в течение 37. За это время было семь случаев, когда программное обеспечение Tesla сообщало водителю о необходимости взять управление при помощи визуальных и звуковых сигналов. Согласно отчету NTSB, руки Брауна при этом находились на руле всего 25 секунд.
Браун повернул на дорогу U.S. 27A примерно через 35 минут с момента отъезда. Спустя 4 минуты он увеличил скорость до 74 миль в час (ограничение скорости на U.S. 27A составляет 65 миль в час). Через одну минуту и 51 секунду, в условиях хорошей видимости, Браун и Tesla достигли верхней точки подъема, и в то же самое время седельный тягач с полуприцепом выехал со второстепенной дороги на U.S. 27A. Tesla не остановилась, даже не сделала попытки затормозить. Автомобиль Брауна ударил полуприцеп в пространство между тягачом и колесами. Его нижней частью с Тесси сорвало крышу. Подушки безопасности не сработали, поскольку скорость оставалась прежней. Машина прошла под трейлером, съехала с трассы направо и, проскочив несколько лужаек и заборов, наконец врезалась в столб и остановилась. Браун погиб мгновенно еще при первом ударе.
Трагическая смерть Брауна стала первым значительным кризисом, который довелось пережить мобильной революции, кризисом, вызванным сомнениями в ее безопасности. Мало кто услышал об аварии сразу после того, как она случилась. Прошло больше чем полмесяца, прежде чем люди осознали, насколько важно разобраться до конца в причинах трагедии. В конце июня NHTSA начало расследование этого инцидента с целью установить виновника. Понимал ли автопилот, что авария неминуема? Предупредил ли он водителя? Если да, почему тот оказался неспособен предотвратить столкновение? А если не предупредил, то почему?
Поиском причин гибели Джошуа Брауна занимались многие. Дорожная полиция штата Флорида, NHTSA, NTSB, многие медиа опрашивали свидетелей и искали любую другую информацию, пытаясь восстановить последовательность событий. Поучаствовать умудрилась даже Комиссия по ценным бумагам и биржам (Secutites and Exchange Commission, SEC), направившая в Tesla запрос, известила ли она своевременно инвесторов об аварии. Фрэнк Баресси, водитель грузовика, выехавшего на дорогу перед машиной Брауна, заявил репортерам, что ее не видел.
NHTSA в ходе расследования смоделировало происшествие и пришло к выводу, что Браун мог видеть грузовик свыше десяти секунд перед ударом. Но отсутствие тормозного следа показывает, что водитель не отдавал себе отчета в неизбежном столкновении, а последующее расследование заключило, что «Браун не предпринял никаких действий, чтобы избежать аварии: не тормозил и не пытался отвернуть». Вывод был очевиден: Браун настолько доверял возможностям автопилота своей «Тесси», что совершенно не следил за дорогой.
Но почему тогда автопилот не заметил приближающийся грузовик? Следователь NHTSA Карим Хабиб подтвердил, что автоматическая система экстренного торможения не выдавала никаких предупреждений перед ударом. На что же годится технология, не способная остановить машину перед огромным тягачом с полуприцепом, который даже водитель мог видеть минимум десять секунд?
Летом того же года сотрудники Tesla, выступая перед Комитетом по энергетике и торговле Конгресса США, заявили, что у компании есть два возможных объяснения происшедшему. Первое: радар и камера не увидели яркой белой поверхности грузовика на фоне неба, поскольку день был солнечный. Второе: датчики все же зарегистрировали грузовик, но посчитали его безопасным препятствием, например нависающим над проезжей частью дорожным знаком или мостом.
Последующие разбирательства со стороны NTSB и NHTSA показали, что примененная в Tesla система автономного вождения просто не была рассчитана на ситуации, когда автомобиль приближается к другим транспортным средствам со стороны бортов. Она предназначалась для автомагистрали с четко обозначенными полосами, оснащенной въездами и съездами, где стены, экраны или зеленые насаждения отсекают все, что могло бы двигаться перпендикулярно траектории управляемого автомобиля. Подобные условия можно встретить, например, на шоссе между штатами. Вывести машину на подобную магистраль и только потом включить автопилот было обязанностью человека. Автопилот же предназначался только для того, чтобы избавить водителя от рутины управления на шоссе, то есть был аналогичен круиз-контролю. Частично его функционирование строилось на умении классифицировать объекты, находящиеся вокруг автомобиля. Он был обучен распознавать изображение тысяч грузовиков и легковых машин сзади. Важно, что на момент аварии с участием Брауна система в принципе не умела распознавать их в профиль. Да и зачем? Система шоссе между штатами, для которой разрабатывался автопилот, специально строилась так, чтобы на ней не было перекрестков. Представить себе сценарий, в котором в поле зрения датчиков оказывается борт другого автомобиля, было сложно.
На момент аварии Tesla использовала в автопилоте компоненты, произведенные израильской фирмой Mobileye NV, специализирующейся на передовых решениях для помощи водителю на дороге. Ее продукт Mobileye EyeQ3, применявшийся Tesla, не защищал от столкновений двух типов – как раз тех, которые имеют тенденцию происходить на перекрестках. В первом транспортное средство движется перпендикулярно управляемому автомобилю и оказывается на его пути, а во втором – выполняет поворот налево и опять-таки пересекает траекторию машины с автопилотом. Как говорит отчет NHTSA, «изображение, задействованное в ДТП во Флориде (то есть борт трейлера) не содержало препятствия с точки зрения набора данных Mobileye EyeQ3».
Поэтому следователь NHTSA заключил, что технология Tesla работала в принципе нормально. «Возможности системы соответствуют наиболее передовым, имеющимся в отрасли», – писал он. Причина аварии состоит в том, что «торможение перед препятствием, пересекающим траекторию управляемого транспортного средства, как это имело место в ДТП во Флориде, лежит за пределами заложенных в систему возможностей». То же самое было верно в отношении и всех остальных систем помощи водителю, помимо продукта Tesla. Ни один из продуктов Mobileye, применяемых другими автопроизводителями, то есть системы, установленные на Infiniti Q50, Mercedes-Benz S65, BMW 50i, Audi A7, Volvo XC60, не защитил бы в подобных обстоятельствах.
Иными словами, ситуацию можно было описать так: Tesla предлагает потребителю продукт, неспособный предотвратить ДТП двух важнейших типов. Она предпринимает шаги, чтобы защитить себя от юридической ответственности. Например, инструкция предупреждает, что один из компонентов Autopilot под названием Autosteer разработан только для использования «на автомагистралях и дорогах с ограниченным числом въездов под непрерывным контролем водителя». Но сколько владельцев в самом деле видели это предупреждение? Как позже заметил член NTSB Кристофер Э. Харт, «оно дается без учета того очевидного факта, что практически никто из владельцев автомобилей и еще меньшее число людей, владельцами не являющихся, читает инструкцию. Некоторые, может быть, заглядывают в нее дважды в год – когда нужно перевести часы на летнее время и обратно». Если бы Tesla доносила информацию об ограничениях на автономное вождение способом, имеющим больше шансов достичь адресата, это было бы совсем другое дело.
По моему мнению, сама Tesla заложила в своей технологии многие предпосылки этой аварии. Одна из них и наиболее очевидная – это само название продукта: Autopilot. Уже после этих печальных событий аналитик Morgan Stanley Адам Джонас предложил компании перестать использовать это слово, «поскольку оно потенциально создает проблему потребительских ожиданий и может привести к моральному ущербу». Посвященный защите прав потребителей журнал Consumer Reports задался вопросом, не пытается ли Tesla «создать у покупателей опасную иллюзию, что машина способна к полностью автономному управлению».
«Многие автопроизводители внедряют подобные полуавтономные решения в свои машины, но Tesla ведет себя гораздо агрессивнее остальных, – писал Consumer Reports. – Это единственный производитель, позволяющий владельцам не держать руки на руле в течение значительного времени, и недавняя катастрофа с летальным исходом ясно подчеркивает все заложенные в такую политику риски». Consumer Reports, так же как и Джонас, призвал Tesla перестать называть систему Autopilot.
Помимо неудачного выбора названия, Tesla недостаточно информировала владельцев о заложенных в систему ограничениях. Со стороны водителя разумно предполагать, что автомобиль, способный адекватно вести себя в пробке на шоссе, может должным образом отреагировать на такое крупное препятствие, как тягач с полуприцепом. На момент аварии с участием Брауна Tesla говорила, что ее продукты автономного управления предназначены для использования на шоссе с ограниченным числом въездов. Поскольку Браун, по-видимому, активировал автопилот как на SR 24, так и на U.S. 27А, ни одна из которых дорогой с ограниченным количеством въездов не является, он определенно не был в курсе этого запрета.
В-третьих, в случае с Брауном ситуация особенно непростительна, поскольку сам Маск делал перепост его видео. На том, которое он перепостил, машина в самом деле движется по дороге с ограниченным количеством въездов. Знал ли Маск, что аккаунт Брауна на YouTube содержит другие ролики, где Браун пользуется автопилотом на узких, извилистых двухполосных дорогах, для которых система не предназначена? Перепост даже одного видео Маском мог быть воспринят как знак одобрения всем предыдущим действиям Брауна.
Оглядываясь назад, я прихожу к выводу, что со стороны Tesla было предельно неосмотрительно выпускать на рынок систему, позволяющую водителю подолгу не держать руки на руле, но при этом неспособную защитить от аварий нескольких типов, важных для тех дорог, на которых водитель эту машину использует. Ролики Брауна на YouTube означают, что в компании о попытках применения автопилота на не предназначенных к тому дорогах знали.
Всего через несколько недель после того, как происшествие с Брауном стало достоянием гласности, поставщик компонентов для систем автономного управления, Mobileye, разорвал отношения c Tesla. Причиной послужило, как пояснил председатель совета директоров и технический директор Амнон Шашуа, «пренебрежение ограничениями на продукт, наложенными из соображений безопасности».
Решение Mobileye, примененное Tesla в разбившемся автомобиле Model S, «не предназначено для обработки всех возможных аварийных ситуации безопасным образом, – сказал Шашуа в интервью Reuters. – Как ни крути, это система помощи водителю, а не управления без водителя». Последние слова мне хотелось бы особо подчеркнуть.
Шашуа заявил, что из-за аварии Брауна и повышенного внимания к ее причинам со стороны специалистов и прессы его компания вынуждена реагировать на противоречивые заявления Tesla – в частности, он напомнил, как Маск и его фирма хвастались автономными возможностями технологии, в то же время предупреждая владельцев не сводить глаз с дороги и не снимать рук с рулевого колеса. «Если компания с нашей репутацией будет и дальше ассоциироваться с подобным пренебрежительным отношением к ограничениям, наложенным из соображений безопасности, то в долгосрочной перспективе это плохо скажется как на нас, так и на отрасли в целом. Скажется очень вредно».
Для полемики между крупными компаниями это обвинение было необычно жестким и конкретным. Tesla заявила, что Mobileye якобы просто узнала о том, что Tesla собирается выпустить на рынок систему компьютерного зрения собственной разработки, и раздражена этим. Ответ Mobileye был весьма болезненным. В ее пресс-релизе говорилось, что еще в 2015 году, за год до гибели Джошуа Брауна, Шашуа выражал Маску свои «опасения относительно безопасности» системы в режиме «без рук». «После личной встречи, – говорилось в релизе Mobileye, – генеральный директор Tesla подтвердил, что активация автопилота будет возможна, только когда водитель держит руки на рулевом колесе». Даже после этого Mobileye продолжала просить Tesla занять более сдержанную позицию в маркетинге Autopilot.
На той же самой неделе, когда компании Tesla и Mobileye обменивались словесными ударами, первая из них провела обновление программного обеспечения Autopilot с целью заставить водителей внимательнее следить за дорогой. Например, если автомобиль двигался со скоростью свыше 70 км в час больше минуты и других машин перед ним не было, звучал сигнал, напоминающий положить руки на рулевое колесо. Если водитель трижды игнорировал предупреждение в течение часа, автопилот отключался до парковки автомобиля. Маск заявил, что это обновление, также расширявшее возможности радара, могло бы предупредить гибель Брауна. Сомнительно, впрочем, что беспокойство Mobileye и других информированных наблюдателей могло бы быть этим удовлетворено.
Из гибели Джошуа Брауна я сделал несколько выводов. Tesla вообще и Илон Маск в частности известны привычкой обещать больше, чем возможно, а делать меньше, чем обещано. Их история с автопилотом укладывается в эту тенденцию. Будучи горячим сторонником технологии автономного управления, я рад, что Ларри Пейдж и Сергей Брин начали финансировать ее разработку задолго до того, как Илон Маск задумался об автоматизации автомобилей. Google испытывала свои машины на дорогах общего пользования семь лет без единой аварии по их вине. Когда авария все же произошла, дело ограничилось помятым крылом на скорости 3 км в час. Такой результат оказался возможен только благодаря культуре безопасности, принятой в Chauffeur, и исключительной команде водителей-испытателей и инженеров. Маск и Tesla вывели на рынок свою систему Autopilot в октябре 2015 года, и меньше чем через семь месяцев она записала на свой счет ДТП со смертельным исходом. Можете представить себе, как развивались бы события, если бы это случилось в Google в первые семь месяцев с момента начала испытаний в 2009 году? Ни столпотворения желающих на рынке автономной мобильности, ни энтузиазма вокруг технологии – ничего этого бы не было.
К счастью, раздражение общественности из-за той катастрофы не достигло того уровня, которого мы опасались. На самом деле каждый раз, когда самоуправляемый автомобиль оказывается участником аварии с жертвами, трезвая оценка обстоятельств происшествия регуляторами и на удивление взвешенное освещение в медиа позволяют превратить кризис в шанс донести до общественности информацию об ограничениях технологии автономного управления и о выгодах, которые она сулит