ИИ уже отправил человека за решетку, привел к отставке правительства Нидерландов и стал причиной скандала с Amazon.
С развитием ИИ, появляются новые опасности и риски, которые могут привести к непредсказуемым последствиям. В настоящее время ИИ ненадежен и нестабилен — недостатки, которые приносят и будут приводить к вреду. Сегодня мы рассмотрим несколько реальных примеров того, как ИИ уже принес вред.
1. Скандал с Amazon
Одна из основных опасностей ИИ заключается в том, что он может быть дискриминационным. Например, в 2015 году компания Amazon внедрила систему для автоматического отбора резюме кандидатов на работу. Идея была проста – дать системе, скажем, 100 резюме, она выберет пять лучших, их уже можно и нанять. Что же могло пойти не так? Система начала дискриминировать женщин, потому что была обучена на основе данных о том, какие кандидаты были наняты в прошлом. Так как в прошлом большинство кандидатов были мужчины, система дала предпочтение мужчинам при отборе резюме. Amazon прекратил использование этой системы после обнаружения проблемы. Компания была вынуждена признать ошибку публично в 2018 году.
2. ИИ посадил человека в тюрьму.
Майкл Уильямс был заключен в тюрьму по обвинению в совершении убийства. Главным доказательством стал отрывок видео с камеры наблюдения, показывающего автомобиль, проезжающий через перекресток, и громкий хлопок, уловленный сетью микрофонов наблюдения. Прокуратура заявила,
что технология ShotSpotter, основанная на ИИ-алгоритмах, которые анализируют шумы, обнаруженные датчиками, указывает на то, что Уильямс застрелил человека.
Но расследование Associated Press, основанное на анализе тысяч внутренних документов, выявило ряд серьезных недостатков в использовании ShotSpotter. Расследование показало, что система может пропустить живую стрельбу прямо под своими микрофонами или ошибочно классифицировать звуки фейерверков или автомобилей как выстрелы. Уильямс просидел за решеткой почти год, прежде чем дело было закрыто.
3. Автопилот сошедший с ума
Примером того, как ИИ может принести вред, является случай с Uber в 2018 году. Компания использовала автономные автомобили с ИИ для перевозки пассажиров, но один из таких автомобилей попал в аварию, в результате которой погиб человек. Расследование показало, что система ИИ не распознала пешехода на дороге, что привело к трагедии.
Или сошедший с ума автопилот Теслы в 2022-м в Китае. Автопилот Tesla Model Y вышел из-под контроля, разогнался до 200 км/ч, промчался 2,6 км и унес жизни двоих.
4. Отставка правительства.
Из-за ИИ часть правительства Нидерландов ушла в отставку в январе 2021 года.
По правилам страны, если семья пытается получить государственное пособие по уходу за ребенком, ей нужно подать иск в голландский налоговый орган. Эти заявления проходили через самообучающийся ИИ-алгоритм. Он должен был проверить заявления на признаки мошенничества.
На деле же, алгоритм разработал шаблон ложной маркировки заявлений как мошеннических, а государственные служащие штамповали ярлыки мошенничества. Таким образом, в течение многих лет налоговые органы безосновательно отказывали тысячам семей в законных требованиях, загоняя многих в обременительные долги.
Таким образом, ИИ представляет серьезную угрозу для человечества, если его не будут использовать с осторожностью и ответственностью. Необходимо разрабатывать системы ИИ с учетом этих рисков и проводить строгий контроль за их использованием.