В этой статье я расскажу, как в индустрии беспилотных автомобилей можно определять успешность проекта. Почему в беспилотных автомобилях пока используются живые пилоты. По каким признакам можно определить, что проект компании Эппл в области беспилотных автомобилей вышел на новый уровень. Почему журналисты могут ошибаться в оценках таких проектов. И что означает один из ключевых для индустрии терминов — Disengagement Rate.
Водители беспилотных автомобилей
Если вы до сих пор не особо интересовались темой беспилотных автомобилей, то начать необходимо со следующего факта: на данный момент во всех проектах беспилотных автомобилей используются пилоты. То есть беспилотные автомобили не ездят по дорогам общего пользования без водителей. Даже в рекламных целях.
В подавляющем большинстве таких проектов пилот-испытатель обязан сидеть за рулем и следить за дорогой, чтобы в случае чего отключить автопилот и взять управление на себя.
В редких случаях пилот-испытатель сидит не на водительском месте, а на соседнем пассажирском, но все равно должен следить за автопилотом и успевать вмешиваться.
Но если ты произвел беспилотный автомобиль, в салоне которого сидит пилот, как можно рекламировать «потрясающую беспилотность»? Как объяснить будущим покупателям, акционерам, инвесторам, которые увидят пилота в беспилотном автомобиле, что это «не то, что вы подумали»?
Здесь в дело вступают профессионалы из мира рекламы, набившие руку в искусстве «кручу-верчу». На рекламных фотографиях факт наличия пилотов тщательно скрывается с помощью различных приемов.
Например, нам показывают беспилотный автомобиль, в салоне которого явно нет водителя. Правда автомобиль стоит на парковочном месте, поэтому водитель в этот момент не нужен. Так что никакого обмана.
Или нам показывают движущийся беспилотный автомобиль. Но снимок сделан таким образом, что пилота-испытателя за рулем просто не видно — из-за ракурса, тонировки, теней, бликов.
Ну а когда пилот-испытатель сидит не на водительском, а на пассажирском сидении, то для рекламных фото и видео выбирают такой ракурс, на котором отчетливо видно что за рулем никого нет, но очень плохо видно, что происходит на сидении рядом с водительским местом.
В общем, всем беспилотным автомобилям пока нужны пилоты. Ну а отделы маркетинга пытаются жить с этим фактом — выкручиваются как могут.
Но если во всех беспилотных автомобилях есть пилоты, то как понять, какой из проектов более продвинутый, а какой менее? Как компании соревнуются друг с другом, как выясняют кто лучше?
Когда вмешиваются пилоты
Именно тот факт, что на данном этапе развития отрасли все беспилотные автомобили используют пилотов-испытателей, позволил выработать подходящий показатель для сравнения автопилотов.
Качество работы автопилота определяется с помощью показателя Disengagement Rate или «частота вмешательств», где под вмешательствами понимаются ситуации, когда пилот-испытатель вынужден вмешаться в работу автопилота и взять управление на себя.
Термин Disengagement Rate образован от словосочетания «to disengage autopilot», которое можно перевести как «вмешаться и отключить автопилот».
Что такое Disengagement Rate
или «частота вмешательств»
Давайте представим идеальный беспилотный автомобиль. Очевидно, в нём созданы такие условия, что пилоту никогда не нужно вмешиваться — автопилот всегда работает идеально. Поэтому и пилота там, разумеется, нет.
Но мы живем в неидеальном мире с неидеальными беспилотными автомобилями, поэтому пилоты там пока есть, и им приходится иногда вмешиваться в работу автопилота. Следовательно, чем лучше работает автопилот, тем реже вмешивается пилот-испытатель. Другими словами, чем меньше частота вмешательств, тем лучше беспилотный автомобиль.
Из этого у нас пока получается следующее определение: частота вмешательств (disengagement rate) — это частота вмешательств пилота-испытателя в работу автопилота на единицу дистанции, пройденной беспилотным автомобилем.
Например, на картинке ниже приведена частота вмешательств на 1000 миль для автомобилей проекта Waymo. Кстати, этот проект на данный момент считается лидером индустрии беспилотных авто.
На этой картинке видно, что в 2015 году при суммарном пробеге беспилотного автомобиля Waymo в 424 000 миль пилоту-испытателю приходилось вмешиваться в работу автопилота 0,64 раза за каждые 1000 миль пробега. С помощью нехитрых вычислений (1 × 1000 ÷ 0,64) узнаем, что пилоту приходилось вмешиваться каждые ~1500 миль. Но к 2018 году частота вмешательства упала до 0,09, то есть пилот стал вмешиваться гораздо реже — только каждые ~11 000 миль. В общем, у пилотов Waymo стало гораздо меньше поводов брать управление на себя, что в свою очередь может значить, что автопилот Waymo стал работать гораздо лучше.
Виды вмешательств в работу автопилота
Очевидно, что пилот-испытатель может вмешиваться в управление беспилотным автомобилем по совершенно разным причинам. Например, разработчик проводит тестирование (structured test) определенной функции, в рамках которого нужно постоянно включать и выключать автопилот. И каждая такая операция будет считаться вмешательством, а производителю придется отражать это в «частоте вмешательств».
Поэтому в индустрии беспилотных автомобилей при вычислении частоты вмешательств решили учитывать не все подряд вмешательства, а только важные («important»), критичные для безопасности («safety-critical»).
Оценивают вид вмешательства примерно так: пилот-испытатель вмешался, но если бы он не вмешался и не забрал управления на себя, могло ли случиться что-то страшное? Да? Значит, это было important и safety-critical вмешательство — учитываем его в статистике. Нет, ничего страшного не могло произойти? Например, испытания проходили на закрытом полигоне, и все равно никто бы не пострадал и ничего бы не сломалось. Значит не считается: это вмешательство было не критичным, не будем учитывать его в статистике.
Зафиксируем определение термина Disengagement Rate
Учитывая, что все основные участники индустрии беспилотных автомобилей де-факто отражают в своей статистике только критически-важные вмешательства, то корректное определение Disengagement Rate будет звучать так:
Частота вмешательств (disengagement rate) — это частота критически-важных вмешательств пилота-испытателя в работу автопилота на единицу дистанции, пройденной беспилотным автомобилем.
У каждого свой подход к вмешательствам
Как я писал выше, в индустрии беспилотных автомобилей решили учитывать не все подряд вмешательства, а только важные. Но под словом «решили» я имел в виду то, что просто так повелось. Никто не садился за стол переговоров и не выпускал единый стандарт. Просто одна за другой компании решили для себя, что будут публиковать статистику только с учетом критически-важных вмешательств.
Если сегодня вы где-то встретите новость от очередного производителя беспилотных автомобилей, в которой утверждается, что Disengagement Rate, то есть частота вмешательств снизилась, например, до 1 раза на 20 000 км (выдуманная и пока недостижимая цифра), то скорее всего эта статистика учитывает только критически-важные вмешательства.
Причем в разных компаниях по-разному понимают, что такое критически-важное вмешательство. Для одних важно одно, для других — другое. Некоторые при публикации своей статистики уточняют, какие именно вмешательства учитывались, а некоторые — не уточняют.
Особое место среди компаний, публикующих свои показатели «частоты вмешательств» занимает Эппл. Это стало известно из письма, которое директор Эппл по автономным системам отправил в адрес Департамента транспортных средств штата Калифорния:
«Нашим пилотам-испытателям дано указание вмешиваться и брать управление на себя каждый раз, когда на дороге происходит ситуация, которая еще официально не поддерживается нашими системами. Кроме того, наше программное обеспечение постоянно проводит мониторинг внутренних систем и в случае ошибок, а также любых внештатных ситуаций автоматически вмешивается в работу автопилота и передает управление водителю. [...]
Вся наша статистика по июнь 2018 года приведена с избыточным учетом вмешательств. [...]
С июля 2018 года мы перешли на учет только важных вмешательств, под которыми мы понимаем вмешательства, сделанные при угрозе безопасности участников движения и при угрозе нарушения правил дорожного движения. За это время наши автомобили прошли 56135 миль, и во время движения произошло 28 важных вмешательств.
Кроме этого, в полном тексте письма, цитаты из которого я перевел выше, можно узнать на какие категории Эппл делит все вмешательства, какие из них считает важными (Important Disengagements) и почему.
Но в целом это письмо Эппл можно трактовать примерно следующим образом. До лета 2018 года они набирались опыта и переходили на ручное управление в любой непонятной ситуации. А начиная с лета 2018 года, когда был накоплен необходимый объём знаний, они стали фокусироваться только на критически-важных вмешательствах. Это может значить, что проект Эппл перешел на новый уровень. Значит ли это, что от Эппл можно ждать новостей?
Куда катиться проект Эппл
На днях появилась новость, что проект Эппл в области беспилотных автомобилей показывает удручающие результаты по сравнению с конкурентами. Журналисты просто взяли статистику Disengagement Reports 2018, опубликованную недавно Департаментом транспортных средств штата Калифорния, и просто суммировали данные. В результате у них получились цифры, которые выглядят впечатляюще, но не отражают реального положения дел.
К сожалению, журналисты не учли, что в первой половине 2018 года Эппл учитывала в своей статистике абсолютно все вмешательства, а во второй половине 2018 года — только важные. А так как остальные компании весь год учитывали исключительно важные вмешательтства, то на их фоне у Эппл показатель «частоты вмешательств» стал выглядеть и правда печально. Но сравнивать показатели Эппл и других компаний за 2018 год таким образом нельзя.
В общем, журналисты пошли по самому простому пути, который однако уводит читателей совсем не туда.
Например, так сделали ребята из Business Insider в статье «Apple's AV test run suggests it should shutter its self-driving efforts»:
Так же сделали ребята из Коммерсанта в статье «За Waymo не угнаться»:
Конечно, нельзя утверждать, что «на самом деле» проект Эппл в области беспилотных автомобилей — впереди планеты всей. Однозначно нет. Но и то, что проект Эппл катиться где-то в хвосте индустрии, и поэтому его можно закрывать — это ложное утверждение, основанное на неправильно интерпретированных данных.
Что хотел сказать автор этой статьи
Индустрия беспилотных автомобилей находится в самом начале пути. Представители отрасли постепенно формулируют подходы, правила, стандарты. Журналисты и блогеры учатся писать о беспилотных автомобилях. Проект компании Эппл в области беспилотных автомобилей, судя по всему, перешел на качественно новый уровень. А вы сегодня узнали, что такое «частота вмешательств» и зачем она нужна.