Чиновники понадеялись, что компьютеры соберут больше долгов, чем глупые кожаные мешки. Но они и не подозревали, что у системы будет пара критических багов, из-за которых пострадает полмиллиона человек.
Хитрая система для взыскания долгов
Работа социальных служб — это зачастую рутина и документы. Особенно когда дело касается взыскания долгов с тех, кто трудоустроен, но получает пособие. Но что, если попробовать передать эти обязанности искусственному интеллекту?
В 2016 году Департамент социального обеспечения Австралии — Centrelink — решил, что пора вступать в прекрасное будущее. Там разработали и внедрили бота Robodebt для взыскания долгов с граждан, которые незаконно получали пособия.
Боту дали полный доступ к базам налоговой службы и научили искать нарушителей. Robodebt работал намного быстрее людей — за неделю проверял столько документов, сколько пятитысячный штат департамента за год. Правительство успешно отчитывалось о 100%-ных возвратах незаконно полученных пособий обратно в казну.
В лучших традициях антиутопий за прекрасным фасадом идеальной системы пряталась неудобная правда. Без контроля человека ИИ выписывал долги практически всем гражданам. Например, если вы получали пособие первые полгода, а потом отказывались от него и устраивались на работу, то Robodebt считал, будто вы весь год зарабатывали и ещё получали помощь из бюджета Австралии. А значит, теперь вам надо вернуть всю сумму плюс ещё десять процентов сверху «за неудобства».
Такая ошибка возникала из-за законов Австралии: в заявке на получение пособия люди указывали сумму заработка за последние две недели, а в налоговой — данные за весь год. Бот Robodebt пытался высчитать средний доход и найти несоответствие. И чаще всего находил.
Но в 2019 году юридическая компания Victoria Legal Aid посчитала, что 17% всех долговых квитанций неверны: там либо неправильно посчитан долг, либо человек вообще оказывался ничего не должен.
Многие граждане посчитали схему мошеннической и сравнивали её с работой мафии, потому что оспорить решение бота было практически невозможно. Плюс он собирал данные с 2010 года и мог выставить счёт даже задним числом. В случае неуплаты долг передавали коллекторам, а те замораживали счета граждан и отнимали недвижимость.
По данным СМИ, от действий Robodebt погибло более 2 тысяч человек — многие из них были психически нестабильны или находились в сложной жизненной ситуации. Уход в минус обострял болезни и подталкивал к самоубийству.
Австралии удалось собрать более миллиарда долларов обратно в казну, но такое количество ошибок в работе ИИ рано или поздно должно было поставить на изобретении крест.
В итоге в 2020-м правительство свернуло работу бота, а через год суд признал департамент виновным перед полумиллионом граждан и обязал его выплатить компенсации на почти 2 млрд долларов.
Премьер-министр Скотт Моррисон публично извинился за причинённый вред и доставленные неудобства, но процесс продолжается до сих пор — правительство отказывается предоставлять документы о работе бота, ссылаясь на их секретность.
Жуткой история становится не из-за ИИ, а из-за многолетнего бездействия чиновников, которые разрешили запустить несовершенного бота. Одно дело, когда искусственный интеллект помогает включить песню на колонке, а другое — когда решает, кто и сколько должен государству.
***
Чтобы не пропустить другие материалы о программировании, об истории IT и искусственном интеллекте, подпишитесь на канал. Ставьте лайки, чтобы видеть больше таких статей у себя в ленте. Если вы хотите, чтобы мы написали о каком-то факте или технологии, предложите свою тему в комментариях к этой или другим статьям.
#программирование #технологии #люди_и_код #Robodebt #искусственный интелект