Я всегда считала гуманитариев «диванными учёными»: никаких полезных исследований, одни теории и дискуссии, где «все мнения правильные». Особенно раздражала знаменитая «дилемма вагонетки» — ну как можно всерьёз обсуждать такие вымышленные сценарии? Но оказалось — очень даже можно. И даже нужно. Особенно теперь, когда ИИ всё чаще решает важные задачи, например, кого спасти в аварии.
Работая в технических науках, я привыкла, что для того чтобы сделать хоть какие-то выводы — не говоря уже об открытиях, — нужно либо съездить в экспедицию, либо провести эксперимент. Поэтому, как и многие мои коллеги, я долгое время снисходительно относилась к исследователям из гуманитарной сферы. Ну что это за работа — сидеть за столом и придумывать теории, на которые у каждого своё мнение, и все они считаются «правильными»? Вот, к примеру, «дилемма вагонетки». Как можно воспринимать её всерьёз?
На всякий случай напомню, в чём она состоит. Это мысленный эксперимент в области этики. Представьте: вы видите, что неуправляемая вагонетка мчится по рельсам и вот-вот убьёт пятерых рабочих. Вы стоите рядом с рычагом, который может переключить стрелку — и направить вагонетку на другую ветку, где работает только один человек. Ваше действие приведёт к смерти одного, но спасёт пятерых. Бездействие — к гибели пятерых.
Даже без заумной статьи в научном журнале, который читает только редактор и корректор, понятно: большинство людей — около 90 % — повернули бы рычаг. И я бы тоже.
Но есть и второй сценарий. Ситуация та же: пятеро на рельсах. Но теперь вы стоите на мосту над путями, рядом с вами — очень крупный человек. Единственный способ остановить вагонетку — столкнуть его с моста. Его тело остановит вагонетку, спасая пятерых, но он погибнет. Это уже не просто «действие» — это прямой акт агрессии против другого человека.
И вот здесь всё меняется: около 90 % людей отказываются это делать, даже если результат тот же — одна жизнь ради пяти.
Конечно, есть вопросики к тем, кто «запросто толкнёт человека под поезд», но, если начистоту, насколько вообще важны такие вымышленные сценарии? Стоит ли ставить тех, кто их изучает, в один ряд со светилами вроде Мечникова или Менделеева?
Какая от этого польза?
Я немного погуглила — и оказалось, что польза есть. И, как ни странно, особенно актуальной дилемма вагонетки стала с появлением искусственного интеллекта, а точнее — с началом внедрения ИИ в системы управления автономных транспортных средств.
Всю эту этическую конструкцию решили использовать для решения проблемы: как должен поступать автопилот в неизбежной аварии?
Простейший сценарий: автомобиль не может избежать столкновения с пешеходом. У него два варианта:
- Продолжить движение — погибает пешеход, пассажир в машине остаётся жив;
- Резко свернуть — погибает пассажир, пешеход спасён.
Что выбрать?
Первыми попытались ответить в Mercedes-Benz. В 2016 году они заявили: в случае неизбежной аварии система будет спасать пассажиров.
Возмутились все. Покупатели побоялись нести ответственность за решения бездушных машин, пешеходы — что автопроизводителям на них плевать.
Стало ясно: простое перенесение классической дилеммы вагонетки в реальный мир не работает. Главный аргумент против — такие сценарии, где нужно мгновенно «выбрать, кого убить», крайне редки в реальной дорожной обстановке. Да и вообще — разве задача автопилота не в том, чтобы предотвратить аварию, а не выбирать между плохими исходами?
Так современный подход сместился от «решения дилеммы» к управлению риском (risk management). Этические рекомендации для разработчиков автопилотов теперь гласят: система должна стремиться минимизировать вероятность столкновений вообще, а не решать, кого жертвовать. В ЕС, например, в рамках AI Act прямо запрещено программировать алгоритмы, которые дискриминируют по возрасту, полу, расе или другим признакам.
Но при этом дилемма вагонетки не устарела — напротив, она стала инструментом выявления предубеждений в ИИ.
Исследования показывают, что большие языковые модели (LLM) и алгоритмы принятия решений в системах автоматического управления демонстрируют системные смещения. В одном из экспериментов модели GPT-3.5 Turbo и Claude 3.5 Sonnet оценивали сценарии, основанные на дилемме вагонетки. Результаты шокировали — чаще спасали:
● молодых, а не пожилых;
● красивых, а не с явными недостатками во внешности;
● людей со светлой кожей, а не представителей других рас.
При этом в сценариях с пересечением признаков (например, «белый мужчина против чёрной женщины») предвзятость усиливалась. А GPT ещё и проявлял склонность к приоритизации объектов с «мужскими» чертами, тогда как Claude — к «женским».
Выходит, «детская» дилемма вагонетки — мощный детектор моральных изъянов в искусственном интеллекте.
И, учитывая, как стремительно ИИ входит в нашу жизнь, хочется сказать спасибо Филиппе Фут, которая в 1967 году ввела эту дилемму в научный оборот — опередив своё время на полвека — и Джошуа Грину, нейробиологу из Гарварда, который в 2000-х превратил её в инструмент нейроэтики.
Так что да — иногда самые нелепые на первый взгляд теории оказываются ключевыми для науки будущего, а понятия «этика» и «мораль» — отчасти тоже инженерные.