Китайский адвокат Хуан Гуйгэн обнаружил в поиске готовое уголовное дело на самого себя. Умный помощник Baidu сгенерировал ответ и заявил, что адвокат якобы давал взятки, угрожал судьям и подделывал печати. Это оказалась чистая галлюцинация (во всяком случае, так утверждает адвокат и это признали Baidu) – нейросеть взяла криминальные новости и вплела в них имя истца. А клиенты адвоката якобы увидели это, поверили «умному поиску» и ушли. Теперь юрист требует от IT-гиганта миллион юаней компенсации и публичных извинений.
Юристы Baidu сразу заявили, что галлюцинации – это нормальная стадия развития технологии, а виноват сам пользователь. Мол, адвокат слишком часто и специфично формулировал запросы, чем буквально свёл с ума нейросеть и заставил её придумывать факты. Да и вообще есть дисклеймер, что ИИ может ошибаться, так что его ответы не стоит воспринимать всерьёз.
Правда, сразу возникает много вопросов. Пользователей сначала приучили пользоваться нейропоиском, интегрируя его буквально во все поисковые системы, а потом говорят «ИИ может ошибаться, так что пользуйтесь им на свой страх и риск». Так зачем тогда использовать технологию, которая не работает? Или вы просто сделали кривой продукт и пытаетесь снять с себя ответственность? В итоге никто не перепроверяет источники, люди игнорируют дисклеймеры, а подобные галлюцинации могут нанести вполне конкретный и ощутимый урон репутации или здоровью. Мы уже видели подобное с суммаризацией новостей от Apple и советами Google по самолечению, это просто очередной и показательный кейс в копилку.
И тот факт, что адвокат мог, в теории, намеренно создать эту ситуацию, обратиться в суд и попробовать заработать денег, не отменяет более глубокую проблему.
Процесс в зависимости от итога может создать прецедент в Китае и повлиять на цену внедрения ИИ. Если Baidu проиграет, компаниям придется платить не за скорость ответа, а за его верификацию и проверку. Например, ChatGPT в режиме размышления и с доступом в интернет может несколько минут ходить по разным сайтам, искать и подтверждать информацию, перепроверять себя, прежде чем дать ответ. Что дорого и долго, но даёт хоть какие-то гарантии отсутствия ошибок. Если компаниям придётся буквально платить за галлюцинации своего ИИ, то мы можем увидеть дружное движение рынка в этом направлении.
Каждый ваш лайк и подписка помогают нам увеличить аудиторию и создавать еще больше достоверного и интересного контента.