Представьте: вы едете по мосту в Сан-Франциско, вокруг машины, всё спокойно. Вдруг ваш автомобиль резко бьёт по тормозам – с 105 км/ч до нуля. Позади – восемь машин, которые не успевают среагировать. Причина? Автомобиль «увидел» то, чего не было. Он… галлюцинировал.
Это не сценарий научной фантастики, а реальное ДТП с участием Tesla, которое профессор Мисси Каммингс привела в своей программной речи на крупной конференции The Autonomous 2025. Бывший пилот истребителя, а ныне директор Центра автономии и робототехники Университета Джордсона Мейсона, она выступает с жёстким тезисом: никаких самоуправляемых автомобилей не существует. И, судя по её аргументам, в ближайшее время они не появятся.
Автопилот, который не думает
Сегодня уже есть роботакси Waymo, которые возят пассажиров без водителя в нескольких городах США, Tesla запустила ограниченный сервис в Остине, грузовики-роботы колесят по дорогам. Всё это – реальность. Но, по словам Каммингс, за каждым таким автомобилем стоит невидимый человеческий надзор. Компании называют его «удалённая помощь» или «удалённое вождение», но суть одна: машине всё ещё нужна нянька.
Почему? Потому что современный искусственный интеллект – это сложная статистика, а не мышление. Нейросети не понимают мир, они лишь предсказывают наиболее вероятный исход на основе данных, на которых обучены. Когда на дороге случается что-то нестандартное (так называемый edge case), система часто теряется. Каммингс называет это «галлюцинациями» – ошибками статистического вывода.
Пример с пешеходом в Сан-Франциско: сначала человека сбила обычная машина, и он упал прямо перед роботакси Cruise. Автомобиль безупречно выполнил экстренное торможение, но затем… просто не понял, что человек оказался у него под днищем. «Машина больше не знала, что под ней находится человек», – комментирует профессор. Инцидент привёл к остановке всей программы Cruise.
Только камеры – это тупик
Одна из самых острых тем – системы, полагающиеся исключительно на камеры. «Vision-only самоуправляемые автомобили никогда, никогда, никогда не появятся», – заявляет Каммингс. Она напоминает золотое правило робототехники: ни один надёжный робот не строится на одном типе сенсоров. Камеры могут быть обмануты освещением, тенями или грязью. Для безопасности необходима избыточность: радары, лидары, другие технологии, которые дают системе «второе мнение».
Особенно опасна эта проблема на высоких скоростях. По словам профессора, ни одна компания до сих пор не продемонстрировала стабильную, безопасную работу на шоссе. Галлюцинации случаются и там, и последствия могут быть куда серьёзнее.
Нянька на удалёнке
Но если автомобиль не справляется, вмешивается человек. Только вот даже этот подход полон рисков. Индустрия разделяет два понятия:
- Удалённая помощь – машина сама не может решить ситуацию и запрашивает подсказку (например, какобъехать препятствие).
- Удалённое вождение – оператор дистанционно берёт управление на себя.
Казалось бы, спасательный круг. Но и здесь не всё гладко. Каммингс приводит пример Waymo, которая перевела свою команду удалённой помощи из США на Филиппины. Задержка сигнала (латентность) – даже доли секунды – может привести к аварии. Так и произошло: автомобиль Waymo получил удар на перекрёстке в Калифорнии, потому что сигнал с другого конца света пришёл слишком поздно.
Почему люди – плохие няньки
Штефан Поледна из TTTech Auto (компании, которая делает ПО для автономных систем) добавляет ещё один парадокс. Даже когда человек находится внутри машины, он с трудом справляется с ролью наблюдателя. «Чем лучше система, тем более расслабленным вы становитесь, – говорит он. – Вы мысленно отключаетесь». И если вдруг система требует вмешательства, человек не успевает среагировать.
Поэтому, по мнению Поледны, более реалистичный сценарий – системы уровня L3 или L4, которые при возникновении сомнений могут безопасно остановиться или съехать на обочину и вежливо попросить помощи у водителя: «У меня проблема, но у тебя есть 20 секунд, чтобы решить её». В этом случае человек выступает как «бортовая нянька», и это уже работает.
Дорогая экономия
Почему же компании продолжают выпускать на дороги несовершенные системы? Каммингс делится опытом участия в судебном процессе против Tesla, где компанию обязали выплатить $243 млн за смертельную аварию, связанную с ИИ. «Они недостаточно тестировали, – говорит она. – Компании не любят переобучать нейросети в конце разработки, это слишком дорого. Но когда вы халтурите в этом вопросе, на кону оказываются миллиарды».
Каммингс предлагает вспомнить модель «швейцарского сыра»: безопасность обеспечивается несколькими слоями защиты. Если в каждом слое есть дыра (недостатки проектирования, тестирования, обслуживания), то однажды они совпадают – и происходит катастрофа. ИИ делает эти дыры особенно опасными, потому что его поведение сложно предсказать.
Единственный путь – сотрудничество
В чём же выход? Ответ Каммингс звучит почти наивно на фоне жёсткой конкуренции в индустрии: компаниям нужно работать вместе и делиться данными, особенно о галлюцинациях. «Америка гиперконкурентна, – говорит она. – Компании отказываются сотрудничать и отказываются работать с регуляторами. Это не путь вперёд».
Поледна добавляет технический рецепт: необходима аппаратная избыточность. Нельзя полагаться на один чип или одну программу. Нужны системы с разделением функций (партиционированием), где отказ одного компонента не парализует весь автомобиль. «Сегодня нет чипов, которые сами по себе обеспечивают безопасность на уровне человека, – утверждает он. – Поэтому мы строим систему так, чтобы она могла пережить отказ и продолжить работу».
Резюме: осторожно, но с оптимизмом
Каммингс не отрицает автономные автомобили как таковые. Она видит их будущее в ограниченных сценариях: медленные роботизированные шаттлы, определённые маршруты, контролируемые среды. Но обещания «полностью самоуправляемого автомобиля» она считает маркетинговым мифом.
«В лучшем случае вы – компания по производству самоуправляемых автомобилей с человеческой нянькой», – резюмирует она. И пока разработчики не научатся побеждать галлюцинации, не внедрят настоящую избыточность и не начнут открыто обмениваться данными, слово «самоуправляемый» будет нуждаться в кавычках.
А вы готовы доверить свою жизнь автомобилю, который иногда видит то, чего нет?
Ссылка на первоисточник: https://www.eetimes.com/every-self-driving-car-company-needs-human-babysitters/
Вас также могут заинтересовать: