На раннем этапе у программного обеспечения была прискорбная привычка поражать полицейские крейсера. Никто не знал почему, хотя у инженеров Tesla были хорошие предположения: стационарные объекты и мигающие огни, казалось, обманывали ИИ. Автомобиль ехал нормально, компьютер хорошо контролировался, и вдруг он поворачивался вправо или влево и - разбивал - по крайней мере 10 раз за чуть более чем три года.
Для компании, которая зависела от неограниченного чувства оптимизма среди инвесторов, чтобы сохранить свою высокую цену акций - Tesla в какой-то момент стоила больше, чем Toyota, Honda, Volkswagen, Mercedes, BMW, Ford и General Motors вместе взятые - эти аварии могут показаться проблемой. Но Илону Маску, генеральному директору Tesla, они предоставили возможность. Каждая столкновение генерировала данные, и с достаточным количеством данных компания могла ускорить разработку первого в мире по-настоящему беспилотного автомобиля. Он так сильно верил в это видение, что это привело его к диким прогнозам: «Я думаю, когда мы будем думать, что кому-то безопасно, по сути, заснуть и проснуться в пункте назначения: вероятно, к концу следующего года»,Маск сказал в 2019 году. "Я бы сказал, что уверен в этом. Это не вопросительный знак".
Будущее Tesla может зависеть от того, знали ли водители, что они участвовали в этом эксперименте по сбору данных, и если да, то соответствует ли их аппетит к риску Маска. Я хотел услышать от жертв некоторых из наиболее незначительных несчастных случаев, но они, как правило, подразделялись на две категории, ни одна из которых не предрасполагала им говорить: они либо любили Теслу и Маска и не хотели говорить ничего негативного прессе, либо они подали в суд на компанию и молчали о совете адвоката. (Умайра Али, чья Тесла вела въезд в дорожный барьер в 2017 году, имел другое оправдание: «Поставь меня как отклоненное интервью, потому что я не хочу злить самого богатого человека в мире»).
Затем я нашел Дэйва Ки. 29 мая 2018 года Tesla Model S от Key 2015 года отвозил его домой от стоматолога в режиме автопилота. Это был маршрут, по которому Ки следовал бесчисленное количество раз раньше: двухполосная автомагистраль, ведущая на холмы над пляжем Лагуна, Калифорния. Но в этой поездке, в то время как Ки отвлекся, машина сдвинулась со своей полосы движения и врезалась в заднюю часть припаркованного полицейского S.U.V., вращая машину и толкая S.U.V. на тротуар. Никто не пострадал.
Кей, 69-летний бывший предприниматель в области программного обеспечения, принял беспристрастный взгляд инженера на свою собственную аварию. "Проблема со стационарными объектами - извините, это звучит глупо - заключается в том, что они не двигаются", - сказал он. В течение многих лет искусственный интеллект Теслы испытывал трудности с отделением неподвижных объектов от фона. Вместо того, чтобы чувствовать разочарование из-за того, что компьютер не понял такую, казалось бы, элементарную проблему, Ки успокоился, узнав, что за сбоем есть причина: известное ограничение программного обеспечения, а не какое-то событие с черным лебедем.
Прошлой осенью я попросил Ки посетить место аварии со мной. Он сказал, что сделает мне лучше; он отвезет меня туда, используя новый режим полного самостоятельного вождения Tesla, который все еще находится в бета-версии. Я сказал Ки, что был удивлен, что он все еще водит Tesla, не говоря уже о том, чтобы доплачивать - F.S.D. теперь стоит 15 000 долларов - за новые автономные функции. Если бы моя машина пыталась убить меня, я бы сменил бренд. Но через месяцы и годы после того, как его модель S была подсчитана, он купил еще три.
Мы встретились за завтраком в кафе в Лагуна-Бич, примерно в трех милях от места крушения. На Ки была черная футболка с V-образным вырезом, шорты цвета хаки и сандалии: полупенсионерный шик Южной Калифорнии. Когда мы подошли к нашему столу, он запер двери своей красной модели S 2022 года, а боковые зеркала складывались, как уши собаки, когда ее гладят.
Ки принес с собой четырехстраничную записку, которую он подготовил для нашего интервью, в которой перечислены факты об аварии, организованные под такими подзаголовками, как «Технология полного самоуправляемого вождения Tesla (обсуждение)». Он такой человек, который ходит с батареей полностью сформированных мнений по самым важным темам жизни - компьютерам, программному обеспечению, физическим упражнениям, деньгам - и готовности поделиться ими. Он был особенно обеспокоен тем, что я понимаю, что автопилот и F.S.D. спасали жизни: "Данные показывают, что их частота аварий на бета-версии намного ниже, чем у других автомобилей", - говорится в одном пункте в 11-точечном Калибри. "Замедление F.S.D. Бета-версия приведет к большему количеству несчастных случаев и гибели людей на основе достоверных статистических данных".
Он утверждал, что несчастные случаи, подобные его - и даже смертельные - являются печальными, но они не могли отвлечь общество от более широкой цели широкого внедрения автономных транспортных средств. Ключ провел аналогию с вакцинами от коронавируса, которые предотвратили сотни тысяч смертей, но также вызвали редкие смерти и травмы от побочных реакций. "Как общество, - заключил он, - мы выбираем путь, чтобы спасти больше всего жизней.
Мы закончили завтрак и подошли к машине. Ки надеялся показать новейшую версию F.S.D., но его система еще не обновилась. "Илон сказал, что он будет выпущен в конце недели", - сказал он. "Ну, сегодня воскресенье". Маск в течение нескольких недель намекал, что обновление станет радикальным улучшением по сравнению с F.S.D. 10.13, который был выпущен летом. Поскольку Маск любил шутить над именами и цифрами в своей жизни, номер версии подскочил до 10,69 с этим релизом. (Четыре доступные модели Tesla - S, 3, X и Y, предположительно потому, что это пишется слово "сексуальный".)
Ки не хотел говорить о Маске, но крах репутации руководителя стал невозможно игнорировать. Он был в середине своего причудливого, снова-вновокампания по захвату Twitter, к ужасу лоялистов Tesla. И хотя он еще не напал на Энтони Фаучи или не распространял теории заговора о муже Нэнси Пелоси или не пошел на журналистскую запрет на платформе, вопрос уже предполагал себя: как вы объясните Илону Маску?
"Люди ошибочны", - осторожно сказал Ки, прежде чем повторить чувство, которое Маск часто говорил о себе: "Если партизаны с обеих сторон ненавидели его, он, должно быть, делает что-то правильно. Независимо от того, в какие неприятности попал Маск, сказал Ки, он был честен - "правдив в ущерб".
Пока мы ехали, Ки сравнил F.S.D. и версию автопилота на своей Tesla 2015 года. Автопилот, по его словам, был похож на причудливый круиз-контроль: скорость, рулевое управление, предотвращение столкновений. Хотя в своем случае он сказал: "Думаю, это не позволило избежать аварии". Он был гораздо больше впечатлен F.S.D. Он смог справиться практически с любой ситуацией, которую он бросил на него. "Моя единственная реальная жалоба заключается в том, что он не всегда выбирает полосу, которую я бы выбрал".
Через минуту машина предупредила Ки держать руки на колесе и смотреть на дорогу. "Тесла теперь вроде как няня", - пожаловался он. Если автопилот когда-то был опасно разрешительным к невнимательным водителям, позволяя им даже кивнуть за руль, этот недостаток, как и ошибка стационарного объекта, был исправлен. "Между рулевым колесом и отслеживанием глаз это просто решенная проблема", - сказал Ки.
Вскоре мы были близки к месту катастрофы. Покрытые кустарниками холмы с горными велосипедными тропами, проходящей через них, поднялись по обе стороны от нас. Это то, что доставило Ключа в беду в день аварии. Он смотрел на любимую тропу и игнорировал дорогу. "Я посмотрел налево, и машина села направо", - сказал он. "Я был в этом ложном смысле безопасности".
Мы припарковались на том месте, где он ударил полицию S.U.V. четырьмя годами ранее. Здесь не было ничего особенного: никаких странных линий, никакого запутанного сдвига полосы движения, никакого слияния. Всего одна полоса движения, идущая вдоль ряда припаркованных автомобилей. Почему Тесла потерпела неудачу в тот момент, была загадкой.
В конце концов, Ки сказал F.S.D. отвезти нас обратно в кафе. Однако, когда мы начали левый поворот, рулевое колесо разорвалось, а педаль тормоза рушилась. Кей пробормотал нервным: "Хорошо..."
Через мгновение машина остановилась на полпути через дорогу и остановилась. Линия автомобилей ехала на нашей стороне. Ки колебался секунду, но затем быстро взял на себя и завершил поворот. "Вероятно, тогда это могло бы ускориться, но я не хотел сокращать это так близко", - сказал он. Если бы он ошибался, конечно, был бы хороший шанс, что он попал бы в свою вторую аварию, вызванную ИИ, на том же участке дороги в одну милю.
За три недели до того, как Ки попал в полицию S.U.V., Маск написал электронное письмо Джиму Райли, чей сын Барретт погиб после того, как его Tesla разбился во время превышения скорости. Маск отправил Райли свои соболезнования, и скорбящий отец ответил, чтобы спросить, можно ли обновить программное обеспечение Tesla, чтобы позволить владельцу установить максимальную скорость для автомобиля, наряду с другими ограничениями на ускорение, доступ к радио и багажнику и расстояние, которое автомобиль может проехать от дома. Маск, хотя и сочувствовал, ответил: "Если будет большое количество настроек, это будет слишком сложно для большинства людей. Я хочу убедиться, что мы все правильно поймем. Наиболее хорошо для большинства людей".
Это была суровая демонстрация того, что делает Маска таким необычным в качестве генерального директора. Во-первых, он обратился непосредственно к кому-то, кто пострадал от одного из его продуктов - то, о чем трудно представить голову G.M. или Ford, хотя бы по юридическим причинам. (Действительно, это электронное письмо было введено в доказательства после того, как Райли подал в суд на Теслу.) А потом Маск отрекнул Райли. Никакого расплывчатого "Я рассмотрю это" или "Посмотрим, что мы можем сделать". Райли получает жесткое "нет".
Как и Ки, я хочу сопротивляться тенденции Маска делать каждую историю о нем. Tesla - это крупная автомобильная компания с тысячами сотрудников. Он существовал до Илона Маска. Он может существовать после Илона Маска. Но если вы хотите получить скупое объяснение проблем, с которыми сталкивается компания - в виде судебных исков, обрушения цены акций и искусственного интеллекта, который все еще кажется слишком способным на катастрофический провал - вы должны обратить внимание на ее ртутного, блестящего, второкурсного генерального директора.
Возможно, здесь нет никакой тайны: Маск просто нарцисс, и каждый безрассудный поворот, который он делает, предназначен исключительно для того, чтобы привлечь внимание всего мира. Казалось, он поддержал эту теорию насмешливо во время недавних показаний, когда адвокат спросил его: «Есть ли у вас какая-то уникальная способность идентифицировать нарциссических социопата?» и он ответил: "Ты имеешь в виду, глядя в зеркало?"
Но то, что выглядит как одержимость собой и плохой импульсивный контроль, может быть плодами последовательной философии, которую Маск неоднократно детализировал. Это в электронном письме Райли: самое большое благо для наибольшего количества людей. Это изречение, как часть специальной системы утилитарной этики, может объяснить всевозможные мистикистые решения, которые принял Маск, не в последнюю очередь его головокружительное стремление к ИИ, которое в долгосрочной перспективе, по его мнению, спасет бесчисленные жизни.
К сожалению для Маска, на первом месте наступает короткий срок, и его компании грозит трудные несколько месяцев. В феврале первый иск против Tesla за аварию с участием автопилота будет передан в суд. Еще четыре последуют в быстрой последовательности. Дональд Славик, который будет представлять истцов в трех из этих дел, говорит, что к настоящему времени обычная автомобильная компания уже урегулировала бы.Они рассматривают это как стоимость ведения бизнеса". Маск покклялся бороться с этим в суде, независимо от опасностей, которые это может представлять для Теслы. Доллары могут складываться, сказал Славик, особенно если есть какие-либо выводы о штрафных убытках.
Многие претензии по нерассмотренным искам возвращаются к одной теме: Tesla последовательно завышала ожидания потребителей и преупреоньшала связанные с этим опасности.
Славик прислал мне одну из жалоб, которые он подал на Tesla, в которой перечислены заметные аварии автопилота от А до Я - на самом деле, от А до Западной Войны. В Китае Тесла врезалась в заднюю часть уличной подметальной машины. Во Флориде Tesla врезался в трактор-прицеп, который был протянут по двум полосам шоссе. Во время ливня в Индиане Tesla Model 3 спланировала с дороги и загорелась. Во Флориде-Кис модель S проехала через перекресток и убила пешехода. В Нью-Йорке модель Y ударила человека, который менял шину на плече скоростной автомагистрали Лонг-Айленда. В Монтане Тесла неожиданно въехала в дорожный барьер. То же самое произошло в Далласе, Маунтин-Вью и Сан-Хосе.
Прибытие беспилотных транспортных средств не должно было быть таким. Изо дня в день мы пугаем, калечим и убиваем себя в машинах. В прошлом году в Соединенных Штатах произошло около 11 миллионов дорожно-транспортных происшествий, почти пять миллионов раненых и более 40 000 погибших. ИИ Теслы должен был положить конец этой кровавой бане. Вместо этого в среднем в Соединенных Штатах ежедневно происходит по крайней мере одна авария, связанная с автопилотом, и Tesla находится под следствием Национальной администрации безопасности дорожного движения.
С тех пор, как автопилот был выпущен в октябре 2015 года, Маск поощрял водителей думать о нем как о более продвинутом, чем он был, заявив в январе 2016 года, что он «вероятно, лучше», чем человек-водитель. В ноябре того года компания выпустилавидео Tesla, перемещающейся по дорогам района залива, с отказом от ответственности: "Человек на водительском сиденье находится там только по юридическим причинам. Он ничего не делает. Машина едет сама по себе". Маск также отверг название "Copilot" в пользу "Автопилот".
Мелкий шрифт ясно дал понять, что технология предназначена только для помощи водителю, но это сообщение получило часть внимания объявлений Маска. Большое количество водителей, казалось, действительно запуталось в возможностях автопилота. (Тесла также отказалась раскрывать, что автомобиль в видео 2016 года разбился на парковке компании.) Юридическая жалоба Славика не сдерживает: "Поведение Tesla было презренным и настолько презренным, что на него смотрели свысока и презирали обычные порядочные люди".
Многие претензии по нерассмотренным искам возвращаются к одной теме: Tesla последовательно завышала ожидания потребителей и преупреоньшала связанные с этим опасности. У автомобилей не было достаточного мониторинга водителя, потому что Маск не хотел, чтобы водители думали, что автомобиль нуждается в присмотре человека. (Маск в апреле 2019 года: "Если у вас есть система, которая находится на уровне человека или ниже надежности, то мониторинг водителя имеет смысл. Но если ваша система значительно лучше, надежнее человека, то мониторинг не очень помогает. Водителей не предупреждали о проблемах с автоматическим торможением или "неупостоянной смене полосы движения. Компания признала бы ограничения технологии в руководстве пользователя, но опубликовала бы вирусные видео Tesla, движущей сложный маршрут без вмешательства человека.
Идеальным клиентом Маска был кто-то вроде Key - готовый принять вину, когда что-то пошло не так, но обладал почти безграничной верой в следующее обновление. В показаниях инженер Tesla сделал это почти явно: "Мы хотим сообщить клиенту, что, No 1, вы должны быть уверены в своем автомобиле: все работает так, как должно. И, во-вторых, причина вашего несчастного случая или причина вашего инцидента всегда ложится на вас".
После нашего неудачного левого поворота в Лагуна-Бич Ки быстро диагностировал проблему. Если бы только система была обновлена до F.S.D. 10.69, утверждал он, машина, безусловно, благополучно справилась бы с поворотом. К сожалению для Маска, не каждый владелец Tesla похож на Дэйва Ки. Истцы в исках автопилота могут согласиться с тем, что ИИ улучшается, но только на спинах ранних усыновителей и прохожих, которые могут быть убиты по пути.
В Интернете идет битва между промусской и антимусковой фракциями об автопилоте и F.S.D. На Reddit есть форум под названием r/RealTesla, который демонстрирует самые неловкие ошибки ИИ, а также более общие жалобы: скрипучие рулевые колеса, протекающие крыши, электроника из сенной проволоки, шумные кабины, жесткие подвески, морщинистые кожаные сиденья, сломанные дверные ручки. Маски, как правило, секвестрируют себя в r/TeslaMotors, где они публикуют наблюдения Tesla, болеют за последние открытия завода компании и ждут следующего большого объявления от босса.
Я нашел Дэвида Элфорда на YouTube, где он разместил видео под названием "Tesla Full Self-Driving Running a Red Light". В нем мы видим вид через лобовое стекло, когда автомобиль Элфорда приближается к перекрестку с левой полосой поворота, которая имеет специальный светофор. Осталось несколько сотен ярдов, свет смещается с зеленого на красный, но машина не останавливается. Вместо этого он катится на перекресток, где находится на пути к столкновению со встречным движением, пока Элфорд не возьмет на себя.
В комментариях поклонники Tesla злятся на Элфорда за публикацию видео, но он отталкивает: Как это помогает оказать давление на Tesla, чтобы она улучшила свои системы, если вы боитесь публиковать их ошибки? Отвечая на один комментарий, он пишет, что F.S.D. "неэтичен в контексте, который они используют".
Когда я позвонил Элфорду, я ожидал кого-то, кто подойдет для r/RealTesla, но в итоге у него было больше атмосферы r/TeslaMotors. Он сказал мне, что будет готов отвезти меня на сайт своего видео и продемонстрировать неудачу, но сначала я должен был дать обещание. "Единственное, о чем я прошу, это постарайтесь не ставить меня в плохое отношение к Тесле сказал он. Я не хочу, чтобы кто-то думал, что я ненавижу компанию или что-то в этом роде, потому что я очень, очень большой их сторонник.
Элфорд живет во Фресно, штат Калифорния, и прежде чем я встретился с ним прошлой осенью, он рассказал мне несколько захватывающих новостей: он только что получил F.S.D. Обновление 10.69. Наш диск станет его первой попыткой пересечь перекресток видео YouTube с новой системой.
Утром, когда я встретил его, он был одет в черную футболку, которая демонстрировала его татуировки, черные солнцезащитные очки и выцветшие черные джинсы с отверстиями в коленях. Голливуд напечатал бы его как хакера в белой шляпе, и на самом деле он такой парень-программист, как Key: он инженер по продуктам в технологической компании Bay Area.
Его белая Tesla Model 3 2020 года имела магнитную наклейку на бампер, которую он нашел на Etsy: ПРЕДУПРЕЖДЕНИЕ ПОЛНОЕ САМОУПРАВЛЯЮЩЕЕСЯ ТЕСТИРОВАНИЕ В ПРОЦЕССЕ. Он сказал, что ездит в режиме F.S.D. 90 процентов времени, поэтому его машина всегда ведет себя немного странно - наклейка помогла удержать некоторые сигналы от других автомобилей в страхе. Он, казалось, как и Ки, был идеальным бета-тестером F.S.D.: интересовался программным обеспечением, предупреждал о его недостатках, преследовался в накоплении автономных миль.
Я залез на пассажирское сиденье, и Элфорд пробил в нашем первом пункте назначения: месте в нескольких кварталах от центра Фресно. По его словам, нам повезло, что было пасмурно, потому что машина вела себя хорошо в этих условиях. В дни, когда было солнечно и было много бликов, машина могла быть момурной. И когда было туманно, и часто было туманно, "это сходит с ума".
Через несколько минут мы подошли к пешеходному переходу, как раз когда два родителя, тянущих ребенка в вагоне, начали пересекаться. Экран рядом с рулевым колесом показал, что ИИ зарегистрировал двух пешеходов, но не вагон. Элфорд сказал, что парит ногой над тормозом, но машина остановилась сама по себе.
После повозки приехала женщина в инвалидной коляске. Машина осталась на месте. Элфорд сказал мне, что автомобильный жаргон для тех, кто на улице, кто не находится в машине или грузовике, - это "V.R.U.", уязвимый пользователь дорожного движения. И это правда: пешеходы и велосипедисты и дети в колясках и женщины в инвалидных колясках - они настолько хрупкие по сравнению с этими гигантскими машинами, которые мы налили в наши города и на наши автомагистрали. Один неправильный ход, и машина раздавит их.
Мы повернули на Ван Несс-авеню, которая проходит через центр города. Он был недавно вымощено, и вместо линий на улице были маленькие желтые вкладки, указывающие, куда в конечном итоге пойдут линии. Тесла ненавидела это и беспокойно уклонялась вправо и влево, ища что-то, чтобы закрепить его. Вокруг не было других автомобилей, поэтому Элфорд позволил ему вытащить это из своей системы и в конечном итоге найти линию полосы движения.
"Вы повышаете терпимость к рискам, которые она берет на себя", - сказал он. "Да, он разворачивается повсюду, но я знаю, что он не врежется во что-то". Тем не менее, опыт бета-тестирования изменил его подход к собственной работе. "На самом деле это заставило меня, как разработчика программного обеспечения, более нерешительно передать свое программное обеспечение в руки людей", прежде чем оно будет полностью готово, сказал он, "хотя это не опасно".
Через несколько секунд мы проехали через перекресток, когда два V.R.U. - человек, выгуливающий собаку - вошли на пешеходный переход. Они были на безопасном расстоянии, но собака начала напрягаться на поводок в нашем направлении. Мы с Элфордом знали, что домашнее животное не находится в опасности, потому что поводок остановит его. Но все, что видел Тесла, это собака, которая собиралась прыгнуть перед нами, и она внезапно остановилась. Это был хороший результат, учитывая все обстоятельства - никаких травм для какой-либо формы жизни - но это было далеко не бесшовное самостоятельное вождение.
Элфорд подталкивал руль достаточно часто, чтобы машина никогда не предупреждала его обращать внимание. Он не возражал против строгого контроля за водителем: он никогда не уставал изучать поведение автомобиля, поэтому у него никогда не было соблазна настроиться. Тем не менее, он знал людей, которые злоупотребляли системой. Один водитель привязал вес лодыжки к рулю, чтобы "откинуть назад и сделать все, что угодно" во время длительных поездок. "Я знаю пару людей с Tesla, у которых есть бета-версия F.S.D., - сказал он, - и у них есть это, чтобы пить и водить машину вместо того, чтобы звонить в Uber".
Мы уехали из центра города и вышли на шоссе, направившись в район к северо-востоку от города под названием Кловис, где был сложный перекресток. Элфорд поднял свои настройки F.S.D. Его режим водителя по умолчанию был Average, но он сказал, что обнаружил, что два других варианта - Chill и Assertive - не сильно отличаются: "В любом случае, автомобиль просто очень агрессивный". Однако для езды по шоссе он перевел машину на так называемый режим Mad Max, что означало, что она обогнала бы любое транспортное средство перед ним, если бы оно двигалось даже на несколько миль в час медленнее, чем предпочитаемая им скорость.
Мы съехали с шоссе и быстро подошли к узлам машин. Что-то пошло не так со светофором, который мигал красным, и водители во всех четырех направлениях, через восемь полос, должны были выяснить, когда ехать и когда уступать. Хореография здесь была деликатной: было слишком много автомобилей, чтобы переплести без некоторых упусков милосердие, замешательство и целесообразность. Среди людей было много размахивать другими и пытаться связаться с глазами, чтобы узнать, собирается ли кто-то уступить или нет.
Мы подкрались к перекрестку, на машине, пока не настала наша очередь. Если бы мы ожидали нюансов, их бы не было. Как только мы остановились, Tesla быстро разокорилась, отрезав одну машину, повернув нас и повернувшись вокруг другой. Это было не столько бесчеловечно, сколько поведение человека, который был полон решимости быть придурком. "Это было плохо", - сказал Элфорд. "Обычно я отстраняюсь, как только он совершит такую ошибку". Он нажал кнопку, чтобы отправить снимок инцидента Тесле.
Позже, на четырехсторонней остановке, машина была слишком осторожной. Он ждал слишком долго, и две другие машины на перекрестке уехали раньше нас. Мы говорили о старой поговорке о безопасном вождении: "Не будь добрым; будь предсказуемым". Для компьютера ИИ Tesla был удивительно неустойчивым. "Это нехорошо и не предсказуемо", - сказал Элфорд.
В нескольких милях вниз по дороге мы добрались до перекрестка из видео: левый поворот на Ист-Шеперд-авеню от государственного шоссе 168. Светофор расположен прямо в том месте, где заканчиваются новейшие события города и начинаются открытые земли. Если бы мы ехали прямо, мы бы сразу же оказались в окружении полыни по пути в Сьерра.
Чтобы воспроизвести ошибку, обнаруженную Элфордом, нам нужно было подойти к пересечению красной стрелкой влево и зеленым светом, чтобы продолжить движение прямо. На нашем первом проходе стрелка позеленела в последнюю секунду. Однако на втором проходе на пустой дороге время было правильным: красный для нашего поворота и зеленый для всех остальных.
Когда мы приблизились, машина вышла на поворотную полосу и начала замедляться. "Он видит красный", - сказал я.
"Нет", - сказал Элфорд. "Он всегда немного замедляется здесь, прежде чем вспахать". Но на этот раз он продолжал замедляться. Элфорд не мог в это поверить. "Он все еще будет светиться", - сказал он. Но он ошибался: мы остановились прямо на линии. Элфорд был в шоке. "Они исправили это!" сказал он. "О том, о чем я даю им вопрос в течение двух лет". Мы терпеливо ждали, пока свет не загорится, и Тесла плавно поехала на Шеперд-авеню. Без проблем.
Это была такая же явная демонстрация гипотезы Маска, на которую можно было надеяться. Была ситуация, которая продолжала ступать ИИ до тех пор, пока после того, как выделенные водители, такие как Элфорд, не собрали достаточно данных, нейронная сеть не поняла это. Повторите эту конверсию вознаграждения за риск X количество раз, и, возможно, Tesla решит проблему самостоятельного вождения. Может быть, даже в следующем году.
Возвращаясь в центр Фресно, Элфорд был оживленным, в восторге от возможности того, что он изменил мир Теслы к лучшему. Я спросил его, является ли F.S.D. 10.69 релиз встретил шумиху, которая предшествовала ему. "Честно говоря, да, я так думаю", - сказал он. (Он был еще более восторжен версией F.S.D., выпущенной в декабре, которую он описал как почти безупречную.)
Через несколько минут мы добрались до обветшалой части города. Элфорд сказал, что в целом ИИ Tesla лучше работает в районах с более высоким уровнем дохода, возможно, потому, что в этих районах больше владельцев Tesla. "Есть ли предвзятость данных для районов с более высоким уровнем дохода, потому что именно там находятся Тесла?" он задавался вопросом.
Мы подошли к перекрестку и попытались повернуть налево - что оказалось повторением сценария Лагуна-Бич. Тесла начала ползать, пытаясь получить более четкое представление об автомобилях, идущих слева от нас. Он сел вперед, двинулся вперед, пока мы снова не были полностью на полосе движения. Ничто не мешало Tesla ускорить и завершить поворот, но вместо этого она просто сидела там. В то же время обманутая Honda Accord подскочилась к нам, примерно в трех секундах от удара о дверь со стороны водителя. Элфорд быстро взял на себя и ударил ускоритель, и мы благополучно сбежали. На этот раз он ничего не сказал.
Отта на родину была тяжелая поездка домой. На стандартном левом повороте на светофоре система испугалась и попыталась ехать направо. Элфорду пришлось взять на себя. А затем, когда мы приблизились к клеверному листу на рампе к шоссе, машина начала ускоряться. Чтобы остаться на рампе, нам нужно было сделать дугу вправо; перед нами был крутой сброс на строительную площадку без ограждений. Машина не показала никаких признаков поворота. Мы пересекли сплошную белую линию, через миллисекунды от прыжков с дороги, когда, наконец, колесо резко подрочило вправо, и мы снова обняли дорогу. На этот раз F.S.D. исправился, но если бы это не произошло, авария, безусловно, убила бы нас.
Питер Тиль, бывший деловой партнер Маска в PayPal, однажды сказал, что если он напишет книгу, глава о Маске будет называться "Человек, который ничего не знал о риске". Но это непонимание отношения Маска: если вы проанализируете его заявления, он представляет себя человеком, который просто принимает удивительные суммы современного риска в рациональном предположении о будущих выгодах.
Самое четкое изложение Маском своей философии, конечно, пришло в Твиттере. "Мы должны предпринять комплекс действий, которые максимизируют полное общественное счастье!" он написал одному пользователю, который спросил его, как спасти планету. В августе он назвал труды Уильяма Макаскилла, шотландского утилитарного этика, "ближе близкими совпадками к моей философии". (Макаскилл, в частности, также был интеллектуальной музой Сэма Бэнкмана-Фрида, хотя он разорвал с ним связи после того, как выявлялся скандал с FTX.)
Риск Маска привел к настоящим прорывам:SpaceX может посадить многоразовые ракеты на посадочные площадки с дистанционным управлением в океане;Starlink предоставляет интернет-услуги украинцам на передовой;OpenAI приближается к прохождению теста Тьюринга. Что касается Теслы, то даже самые суровые критики Маска - и я разговаривал со многими из них, сообщая об этой статье - сделали бы паузу, не обязательным образом, чтобы отдать ему должное за создание теперь надежного рынка электромобилей в Соединенных Штатах и во всем мире.
И все же, как писал Роберт Лоуэлл, "Ни одна ракета не заходит так далеко, как человек". В последние месяцы, когда возмущения в Твиттере и других странах начали умножаться, Маск, казалось, был полон решимости растратить большую часть доброй воли, которую он создал за свою карьеру. Я спросил Славика, адвоката истцов, облегчил ли недавний сдвиг в общественных настроениях против Маска его работу в зале суда. "Я думаю, что, по крайней мере, на данный момент больше людей скептически относятся к его суждению, чем раньше", - сказал он. "Если бы я был на другой стороне, я бы беспокоился об этом".
Однако некоторые из самых сомнительных решений Маска начинают иметь смысл, если рассматривать их как результат тупого утилитарного исчисления. В прошлом месяце агентство Reuters сообщило, что Neuralink, компания по производству медицинских устройств Маска, вызвала ненужную смерть десятков лабораторных животных в результате поспешных экспериментов. Внутренние сообщения от Маска ясно дали понять, что срочность исходила сверху. "Мы просто не движемся достаточно быстро", - написал он. "Это сводит меня с ума!" Анализ затрат и выгод, должно быть, показался ему ясным: по его мнению, у Нейралинка был потенциал для лечения паралича, что улучшит жизнь миллионов будущих людей. Страдания меньшего количества животных того стоили.
Эта форма грубого долгосрочногоизма, в которой размер будущих поколений придает им дополнительный этический вес, даже проявляется в заявлениях Маска о покупке Twitter. Он назвал Twitter "цифровой городской площадью", которая несет ответственность только за предотвращение новой гражданской войны в США. "Я сделал это не для того, чтобы заработать больше денег", - написал он. "Я сделал это, чтобы попытаться помочь человечеству, которого я люблю".
Автопилот и F.S.D. представляют собой кульминацию этого подхода. "Всеобъемлющая цель проектирования Tesla, - написал Маск, - заключается в максимизации площади под кривой счастья пользователей". В отличие от Twitter или даже Neuralink, люди умирали в результате его решений, но неважно. В 2019 году в ярком обмене электронной почтой с инвестором-активистом и непоколебимым критиком Tesla Аароном Гринспеном Маск ощетинился предположением о том, что автопилот - это что-то иное, как спасательная технология. "Данные недвусмысленны, что автопилот безопаснее, чем человеческое вождение со значительным отрывом", - написал он. "Неэтично и ложно с вашей стороны утверждать обратное. При этом вы ставите под угрозу общественность".
Я хотел попросить Маска подробнее рассказать о его философии риска, но он не ответил на мои запросы на интервью. Поэтому вместо этого я поговорил с Питером Сингером, выдающимся утилитарным философом, чтобы разобраться в некоторых связанных с этим этических вопросах. Был ли Маск прав, когда утверждал, что все, что задерживает разработку и внедрение автономных транспортных средств, по своей сути неэтично?
"Я думаю, что он прав, - сказал Сингер, - если он прав в отношении фактов".
Маск редко говорит об автопилоте или F.S.D., не упоминая, насколько он превосходит водителя-человека. На собрании акционеров в августе он сказал, что Tesla «решает очень важную часть ИИ, которая в конечном итоге может спасти миллионы жизней и предотвратить десятки миллионов серьезных травм, проезжая на порядок безопаснее людей». У Маска есть данные для этого: начиная с 2018 года Tesla выпускает ежеквартальные отчеты о безопасности для общественности, которые показывают постоянное преимущество в использовании автопилота. Последний, начиная с конца 2022 года, сказал, что Tesla с автопилотом имеют одну десятую больше шансов в аварию, чем обычный автомобиль.
Это аргумент, который Тесла должна вынести перед общественностью и присяжными этой весной. По словам отчета компании о безопасности: "Хотя ни один автомобиль не может предотвратить все аварии, мы работаем каждый день, чтобы попытаться сделать их гораздо менее вероятными. Автопилот может вызвать сбой времен WW.
Сингер сказал мне, что даже если автопилот и водители-люди были одинаково смертельными, мы должны предпочесть ИИ при условии, что следующее обновление программного обеспечения, основанное на данных из отчетов о сбоях и близких промахов, сделает систему еще более безопасной. "Это немного похоже на хирургов, проводя экспериментальную хирургию", - сказал он. "Вероятно, первые несколько раз, когда они сделают операцию, они потеряют пациентов, но аргумент в пользу этого заключается в том, что они спасут больше пациентов в долгосрочной перспективе". Однако, добавил Сингер, важно, чтобы хирурги получали информированное согласие пациентов.
Имеет ли Tesla осознанное согласие своих водителей? Ответ может быть другим для разных владельцев автомобилей - он, вероятно, будет отличаться для Дэйва Ки в 2018 году, чем в 2022 году. Но большинство клиентов не знают, насколько ошибочен автопилот, сказал Филип Купман, автор книги "Насколько безопасен достаточно безопасно? Измерение и прогнозирование безопасности автономных транспортных средств". Автомобили продолжают совершать "действительно сумасшедшие, сумасшедшие, удивительные ошибки", - сказал он. "Практа Tesla использовать неподготовленных гражданских лиц в качестве тест-пилотов для незрелой технологии действительно вопима".
Купман также возражает против предполагаемых фактов Маска. Одна из очевидных проблем с данными, которые компания изкладывает в своем ежеквартальном отчете о безопасности, заключается в том, что она напрямую сравнивает мили автопилота, которые в основном проезжают по автомагистралям с ограниченным доступом, со всеми милями транспортных средств. "Вы используете автопилот на безопасных милях", - сказал Купман. "Так что, конечно, это выглядит великолепно. А потом вы сравниваете его с неавтопилотом на жестких милях".
В третьем квартале 2022 года Tesla заявила, что на каждые 6,26 миллиона миль, пройденных с помощью автопилота, происходит одна авария - на самом деле, почти в 10 раз лучше, чем базовый уровень одной аварии в США на каждые 652 000 миль. Однако аварии гораздо чаще на наземных улицах, чем на шоссе: одно исследование, проведенное Департаментом транспорта Пенсильвании, показало, что аварии были в пять раз чаще на местных дорогах, чем на шоссе. При сравнении номеров автопилота с номерами автомагистралей преимущество Tesla значительно снижается.
Заявления Tesla о безопасности выглядят еще более шаткими, когда вы пытаетесь контролировать возраст автомобиля и возраст водителя. Большинство владельцев Tesla среднего возраста или старше, что устраняет один рискованный пул водителей: подростков. И просто наличие нового автомобиля значительно снижает вероятность аварии. Даже возможно, что количество Тесла в Калифорнии - с ее в целом мягкой, сухой погодой - исказило цифры в ее пользу. Независимое исследование, которое пыталось исправить некоторые из этих предубеждений, показало, что Тесла разбивали так же часто, когда автопилот был включен, как и когда он был выключен.
"Это всегда было проблемой для утилитаристов", - сказал мне Сингер. "Поскольку в нем нет строгих моральных правил, люди могут подумать, что им сойдет с рук делать суммы так, как это соответствует их целям".
Утилитарное мышление заставило людей совершать захватывающие дух добродетели, но перекладывая эту этические рамки в руки промышленника представляет определенные опасности. Истинный утилитаризм требует тщательного баланса всех вредов и выгод в настоящем и будущем с терпением, чтобы сделать эту оценку, и терпением воздержаться от действий, если количество страданий и смертей, вызванных продвижением вперед, не было ясно. Маск использует утилитаризм более ограниченным образом, утверждая, что до тех пор, пока он уверен, что что-то принесет чистую выгоду, ему разрешено делать это прямо сейчас.
За последние два десятилетия Маск каким-то образом маневрировал, чтобы управлять несколькими компаниями, где он может правдоподобно утверждать, что работает над сохранением будущего человечества. SpaceX не может просто доставить спутники на низкую орбиту; она также отправит нас на Марс. Tesla не может просто построить прочный электромобиль; это решит проблему самостоятельного вождения. Twitter не может быть просто еще одним местом, где мы собираемся, чтобы поспорить; это один из реквизитов, удерживающих цивилизацию. При достаточном повышении ставок всевозможные сомнительные действия начинают выглядеть - почти - разумными.
"Настоящие верующие, - написала писательница Джанет Уинтерсон, - предпочли бы, чтобы правительства свергли и историю переписывались, чем потерли прикрытие своей веры". Маск кажется непоколебимым в своей убежденности в том, что его подход правильный. Но, несмотря на всю свою срочность, он все еще может проиграть гонку ИИ.
Прямо сейчас в Сан-Франциско и Остине, штат Техас, и скоро прибывая в городах по всему миру, вы можете приветствовать роботакси, управляемого Cruise или Waymo. "Если есть один момент, когда мы переходим от вымысла к реальности, то это сейчас", - сказал мне Себастьян Трун, который основал команду беспилотных автомобилей Google. ("Кстати, я не говорил этого в прошлом году", - добавил он.) Тран не скрывался в r/RealTesla; он был на своей пятой Tesla, и он сказал, что восхищается компанией: "То, что есть у Теслы, действительно красиво. У них есть парк транспортных средств в полевых условиях". Но на данный момент конкуренты Tesla ближе к достижению полного беспилотного вождения