Мнение: Не вирусное, как видео с котиками. Вирусное, как то, что нам нужна вакцина. Юридическая система США захлебывается от галлюцинаций ИИ, создающих фальшивые судебные прецеденты. — theregister.com
Мнение Для сектора, находящегося в центре экономического роста США, заявления и контраргументы относительно ИИ остаются на удивление труднопримиримыми. Модели совершенствуются со скоростью света, утверждают компании, занимающиеся ИИ, но сообщение, исходящее от «кодолица» (codeface), остается прежним: выгоды по-прежнему более чем уравновешиваются недостатками.
ИИ может сделать вас в 10 раз более продуктивным кодером, если вы потратите в 10 раз больше времени на подготовку, настройку и проверку ошибок. Вы можете развертывать агентов ИИ, при условии, что вы развернете других агентов ИИ для их контроля. Код, сгенерированный ИИ, нуждается в тестах, сгенерированных ИИ, чтобы справиться с возросшим объемом, и посмотрите, как это сказывается на нагрузке на инфраструктуру.
Учитывая ставки, неудивительно, что поляризованное мнение и коммерчески продиктованные заявления создают настоящий туман над полем битвы кодирования с помощью ИИ. В других секторах, где у ИИ меньше метрик качества и видимого критического анализа, ситуация обстоит еще хуже. Если бы существовала четко определенная область с долгой историей зависимости от качества данных на основе правил, прозрачности и рамок для обеспечения соблюдения истины и профессиональных стандартов. Если бы там внезапно возросло использование ИИ, мы могли бы увидеть, что на самом деле делает эта технология.
Хорошая новость: у нас есть именно это. Это называется правовая система. Плохая новость: дела идут неважно.
Первопричина кроется в той же комбинации двух факторов, которые очень плохо сочетаются, и это знакомое уравнение. ИИ исключительно хорош в создании структурированных документов, которые выглядят и в основном являются такими, как будто их сгенерировал эксперт-человек. ИИ также генерирует и включает в себя галлюцинаторные факты, которые имеют точный вид и ощущение реальности, за исключением одного небольшого недостатка: они ложны.
Это хорошо известно. Последствия также общепризнаны. Полезность ИИ сильно страдает от галлюцинаций, и поэтому его результаты нуждаются в тщательной проверке. Но они выглядят настолько хорошо, настолько убедительно, что человеку очень свойственно принимать обещание ИИ о значительном повышении производительности и надеяться на лучшее.
Результатом в правовых системах по всему миру являются фальшивые судебные дела. Адвокаты, выступающие в суде, полагаются на логические аргументы, подкрепленные существующей судебной практикой. Это происходит в письменных показаниях, где цитируются или обобщаются в контексте дела, соответствующие аргументу, и приводятся ссылки на эти дела в архивах.
Было неизбежно, что юристы будут использовать ИИ для написания показаний, запрашивая желаемый результат. Также было неизбежно, что ИИ будет галлюцинировать дела, которые, казалось бы, помогают выдвигаемому аргументу. Более того, было неизбежно, что некоторые из них избегут проверки фактов и попадут в суд. Впервые это произошло, или, по крайней мере, получило широкую огласку, в деле в Южном округе Нью-Йорка в 2023 году. Что не казалось неизбежным и выглядит еще более экстраординарным, так это то, что произошло дальше.
У юристов особые отношения с правовой системой и судами в частности. Если они представляют факты, они несут строгую обязанность говорить правду и предпринять соответствующие шаги для проверки того, что они говорят. Они являются должностными лицами суда и связаны профессиональной этикой. Также широко ходят слухи, что юристы — люди и совершают ошибки, но от них также ожидают, что они будут учиться на них и не повторять их. Первый юрист, поставивший свою подпись под показаниями, зараженными ИИ, мог бы заявить, что это новая технология и соблазнительно эффективная, и суд мог бы ограничиться строгим предупреждением.
Как только эта новость распространилась среди юридического сообщества, сообщества, исключительно подкованного в сплетнях о самом себе, оправдание незнанием не сработало бы. Можно было бы ожидать, что случаи фальшивых дел сохранятся на уровне фонового шума, когда какой-нибудь авантюрист попытается провернуть это, но все знают о последствиях поимки на обмане со стороны учреждения, ревностно оберегающего свою святость, обладающего фактически безграничными полномочиями по санкциям.
То, что произошло, больше похоже на ранние стадии чумы. Через шесть месяцев после первого громкого дела в США внимание «моих почтенных» привлекло еще одно дело в лондонском трибунале. На прошлой неделе NPR сообщило, что бизнес-школа HEC Paris зафиксировала около 1200 случаев, связанных с галлюцинациями, со всего мира, причем 800 только из США. Десять дел из десяти разных юрисдикций поступили недавно в один и тот же день. По их словам, темпы по-прежнему растут.
Это несмотря на то, что некоторые дела выходят за рамки громких, и суды повсеместно усиливают реакцию иммунной системы, штрафуя юристов на шестизначные суммы. Есть также предложения о введении обязательной маркировки документов, сгенерированных ИИ, что, вероятно, пройдет так, как вы можете себе представить.
В юридической профессии существует давняя традиция заставлять младших сотрудников очень много работать с ограниченными ресурсами или поддержкой старших. По крайней мере, в одном случае подчиненному было поручено использовать ИИ для составления краткого изложения, но ему не предоставили доступ к юридической базе данных, необходимой для проверки дел. Экономия денег, верно? То, что юридическая профессия может быть такой же эксплуататорской, как и любая другая, неудивительно. То, что она не может устоять перед соблазном ИИ, который подавляет ее суждения так же несомненно, как кокаин, вдыхаемый в нос, по-видимому, указывает на то, насколько опасным может быть ИИ. То, что проблема усугубляется, также является хорошим показателем того, что бы ни делали новые модели лучше, галлюцинации никуда не денутся.
Ответственные юристы, известные The Reg, сообщают, что использование ИИ требует столько же времени на проверку, сколько экономит, но это все еще стоит того, при разумном использовании. Это не соответствует ажиотажу вокруг ИИ, но явно соответствует истине. Также нетрудно представить механизмы для автоматизации проверки цитирования дел, но вот мы снова упираемся в то, что ИИ требует большего для выполнения своей работы.
Внимательно следите за юридическими галлюцинациями. Мы все еще находимся на ранних стадиях эпидемии, и хотя умные деньги ставят на то, что правовая система решит проблему до того, как ИИ будет исправлен, она будет решена. Это оставит нам вопрос о том, какой ущерб ИИ наносит в других секторах, других организациях, где поведение, направленное на самосохранение, заменяет профессиональную этику, а взаимное закрывание глаз превалирует над прозрачностью и истиной. Будем надеяться, что мы сможем исправить это, прежде чем самоуспокоенность перерастет в кризис. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Rupert Goodwins