Искусственный интеллект уже способен на многое из того, что традиционно считалось чисто человеческими возможностями: отвечать на вопросы, переводить, сочинять тексты и стихи, рисовать картинки, давать советы по жизни и по работе. А еще — обманывать. И в этом нейросети точно готовы превзойти нас. Почему они могут делать это намного убедительнее человека, рассказывает главный аналитик и сооснователь IT-компании Mode Бен Стенсил.
Недавно компания OpenAI выпустила ChatGPT. Этот чат-бот не только отлично имитирует естественную речь, переводит, сочиняет истории и стихи, составляет рецепты, пишет код и рассказывает анекдоты. Натренированный на триллионах слов, он может убедительно обосновать (почти) любой заранее заданный тезис, выстроив формально безупречную цепочку доказательств. Причем сами тезисы могут быть взаимоисключающими.
Например, вы берете факт — трагические события в Лас-Вегасе в 2017 году, когда преступник застрелил из окна гостиницы более 20 посетителей фестиваля кантри-музыки. И задаете тезис — стрельба была организована ФБР. Через пару мгновений бот выдаст вам готовую конспирологическую теорию. И тут же навскидку может создать другую: что массовое убийство задумал тренер баскетбольной команды университета Дьюка.
Это возможно потому, что доказательства не имеют никакого отношения к реальности, даже если для их компиляции используются факты. Чат-бот задействует стратегию, к которой обычно прибегают пропагандисты и распространители псевдонаучных идей: подбирает факты, соответствующие запросу, и использует для их связывания ложные коррелляции. Например, уровень потребления сыра на душу населения в США на протяжении девяти лет наблюдений почти на 95% совпадал с числом граждан, которые умерли, запутавшись в простынях. Два факта, из которых можно соорудить зловещую историю. Как пишет в твиттере венчурный инвестор Сара Гуо, таким образом можно тиражировать бесконечное множество по сути ложных, но по форме реалистичных нарративов. Готовы ли мы к такой инновации?
Представьте, что вы венчурный инвестор, который вкладывается в стартапы на ранней стадии развития, когда в штате компании всего несколько сотрудников, а в портфолио — лишь прототипы продуктов и желание сделать мир лучше. За неимением показателей доходности и отзывов клиентов, которыми можно было бы руководствоваться в принятии решения, вы делаете ставку на «нарративы»: есть ли у компании уникальная идея, способны ли фаундеры ее реализовать и просматривается ли на рынке ниша для их продукта?
До вас дошли слухи, что фаундеры уже обращались с предложениями к другим потенциальным инвесторам и не смогли получить необходимое финансирование. Выглядит подозрительно. Но вы по дружбе или просто из любопытства принимаете приглашение.
Сам проект не производит на вас особого впечатления. Но нарратив, который транслирует компания, демонстрируя свой потенциал, кажется убедительным. Это гениальные ребята, думаете вы, они взяли плохую идею и превратили ее в хорошую. Вы почти готовы вложиться. Но один вопрос не дает вам покоя: почему другие инвесторы этого не почувствовали.
На следующий день тайна раскрывается. Оказывается, компания переформатировала презентацию. Сам продукт, который они представляют, остался неизменным. Но объяснение того, почему продукт станет успешным, какую нишу на рынке он займет, как они смогут привлечь потребителей — все это изменилось по сравнению с первой презентацией.
Ваша первая мысль: наверное, они пригласили консультантом какого-то маститого эксперта, который предложил им этот стратегический разворот. Тем лучше, думаете вы. Значит, они учатся, совершенствуют подход. Но затем раскрывается еще один секрет. Новую концепцию разработал не эксперт и вообще не человек, а искуственный интеллект. Столкнушись с проблемами, фаундеры просто открыли чат-бот и попросили его придумать презентацию стартапа из десяти пунктов, включая рыночные перспективы продукта и стратегию роста бизнеса.
Иными словами, новая концепция возникла на пустом месте. Это не итог маркетинговых исследований, долгих размышлений или глубого погружения в тему. Нет. Ее просто сгенерировал комьютерный алгоритм в ответ на запрос пользователя.
Вы все еще хотите инвестировать?
Анализируя чей-то нарратив, будь то бизнес-план, презентация для инвесторов или программная статья политика, мы исходим из того, что способны мыслить рационально и судить непредвзято. Но так ли это? Еще в 1970-е исследователи из Стэнфорда обнаружили, что одного наличия правдоподобных аргументов в пользу какого-то вывода достаточно, чтобы люди поверили в его правильность, даже если им прямо скажут, что эти аргументы сфабрикованы.
Конечно, мы можем обнаружить явно ложные корреляции. Но даже в этом случае нам сложно оценить достоверность всего нарратива, если он выглядит внутренне логично. Тем более что во многих ситуациях, как верно отметилписатель Рэнди Ау, «есть несколько разных трактовок, которые в одинаковой степени согласуются с данными, и нет возможности определить, какая из них верна». Так что обычно при оценке весомости аргумента мы далеки от рациональности и непредвзятости. На самом деле мы полагаемся на другие критерии: насколько доводы соответствуют нашим убеждениям, как мы относимся к спикеру, импонирует ли нам его манера подачи информации и, не в последнюю очередь, сколько других людей с ним соглашается.
Почему же тогда мы не попадаемся на крючок любого фейка? Потому что создать внутренне непротиворечивую альтернативную версию реальности сложно. Для убедительного обоснования одной лжи, нужно найти и сложить в нужной конфигурации множество осколков правды. Это все равно что собрать один пазл из фрагментов другого. Создатели фейков часто недостаточно умны, чтобы сконструировать «по сути ложные, но по форме реалистичные нарративы». Если они люди.
Другое дело — ИИ, способный за доли секунды сгенерировать внутренне непротиворечивое обоснование для чего угодно. А если ChatGPT начнет включать в свои выкладки еще статистику, инфографику и цитаты авторитетных экспертов, шансов не заблудиться в этом лабиринте кривых зеркал у нас почти не останется. Вот простейший пример. На рабочем совещании обсуждается спорный вопрос. Каждый сотрудник демонстрирует двухстраничное обоснование своей позиции, с диаграммами и статистическими данными. Но есть нюанс: никто из участников дискуссии не писал обоснование сам, а просто сообщил боту, какой результат необходим, и получил от него отчет, с цитатами, фактами и цифрами, объединенными в убедительный нарратив.
Нетрудно представить, какую путаницу это внесет в процесс принятия решений. Пока что требуется редкое сочетание таланта и опыта, чтобы обосновать свою правоту или, говоря циничнее, правдоподобно исказить реальность в свою пользу. Но завтра у всех нас может быть доступ к алгоритму, который способен принять любую точку зрения и обосновать все, что мы захотим. Это уже не просто пропаганда или дезинформация, а подрыв базовых представлений о том, что реально, а что нет.
Мы часто слышим, что ИИ может стать слишком умным. И кажется, упускаем из виду куда более серьезную проблему: мы сами недостаточно умны для ИИ.
