Обычная правда о миллиардах запросов, «пузырные» разговоры, которые за этим следуют, и человеческие потери, которых мы стараемся не замечать
Для чего мы на самом деле используем ChatGPT
Смартфоны и экраны компьютеров светятся в миллионах тихих комнат по всему миру. Спальни с задернутыми шторами. Офисные кабинеты, где пахнет растворимым кофе, пластиковой жалостью и умершими мечтами о славе. Классы, где стулья качаются, как расшатанные зубы.
Задайте простой вопрос — и цифры высыплются, как монеты на прилавке. Сотни миллионов людей, миллиарды сообщений в день. Весь этот болтовня спускается в одну терпеливую пасть, которая никогда не спит.
«История в деталях» — телеграм канал для тех, кто любит видеть прошлое без прикрас, через неожиданные факты и забытые мелочи. Погружайтесь в историю так, как будто вы там были. Подписывайтесь!
И о чем мы спрашиваем этого неутомимого клерка эфира? Не о метафизических секретах космоса — обычно не об этом.
По недавно опубликованным данным OpenAI, в основном мы просим его поправить наши предложения. Составить аккуратное письмо. Перевести текст, чтобы не выглядеть глупо, когда оппонируешь незнакомцу в соцсетях.
Мы говорим себе, что заглядываем в будущее. На самом деле мы в основном правим запятые на скорости.
Удивительно не то, что люди используют языковую модель для языка. Удивительно то, как это стало обыденным. Гораздо больше уюта дома, чем офисной строгости. Гораздо больше домашней работы, чем прорывов. Меньше кода, чем обещали презентации. Меньше Прометея, больше хороших манер у корректоров.
Если отступить, можно увидеть очертания зеркала, которое показывают нам большие языковые модели: они отражают нас с нашими постоянными вопросами. Говоришь в него — и оно отвечает тебе обратно, чуть ровнее, чуть смелее, с поменьше разрывов инфинитива.
Да, удобно, не спорю. Успокаивает даже. Немного жутко в поздние часы, когда дом поскрипывает и трубы щёлкают. Мы велели машине быть правдоподобной, и её запрограммировали повиноваться с исключительным рвением.
Узнайте больше об авторе этой статьи, Пэдди Мерфи, здесь.
Пузырные разговоры
Нам говорят, что да, это пузырь, и да, это грандиозно. По крайней мере, так говорят большие шишки OpenAI.
Как и все пузыри, люди потеряют феноменальное количество денег. Кто-то будет спать под столами на конференциях. Кто-то купит острова. Так было всегда, говорят телеголосовитые ведущие экономического роста. Помните 1999 год. Вспомните дотком-тюльпаны. Боль сейчас, слава потом.
Я уже писал ранее, что пузырь ИИ — это игра на доверии, наряженная в одежду спасения. Выходы уже измеряются. Вы, дорогой читатель, — это ликвидность. История не изменилась, поменялся только словарный запас.
То, что раньше называли презентацией, теперь называют рубежом. То, что раньше называли обналичиванием, теперь — глава в деловой биографии с черно-белой фотографией автора и рубашкой с невероятно хрустящими воротниками.
Есть старый приём мошенников: жертва не замечает, что кошелек пропал, пока не придет время платить счёт. Можно назвать это обучением рынка. Можно также назвать это аферой, но при мягком светодиодном освещении.
Цена правдоподобия
И вот обычно разговор сворачивает к чудесам.
Новая беглость, новая скорость, новый охват. Я во всём этом соглашусь. Но цена скрывается под лаком. Эти модели не любят правду. Они любят — нет, «любовь» не то слово. Их запрограммировали выдавать ритм правды.
Они не понимают; они изображают понимание.
Попросите уверенности — и вам дадут звук уверенности. Если вы щуритесь на голубой экран в 2 часа ночи, этого звука будет достаточно. Что происходит, когда правдоподобие становится товаром, а люди приносят свою одиночеству как хворост?
Вот три истории.
Мальчик и машина, которая не умела сказать «нет»
Семья нашла своего шестнадцатилетнего сына Адама Рэйнa мёртвым в апреле. Шестнадцать лет. Они прочли его логи ChatGPT и встретились с голосом, который составлял ему компанию.
Он говорил о отчаянии. Машина отвечала ему. Предлагала добрые слова. Давала номера горячих линий. Затем, по мере того как часы тянулись, она предложила что-то холоднее.
Она соглашалась с его мрачными рассуждениями. Она помогла сформулировать записку, дала советы, как укрепить петлю на шее. Модель, вежливая до состояния покорности, не наступила на его намерение. Она ему поддакивала. Она это отшлифовала.
Его родители теперь горюют, и их юристы подают иск против OpenAI. Компания отвечает печалью и обещаниями. Защиты, обновления, улучшения. Язык чист и аккуратен, но все понимают — он пуст.
Мне это звучит как инструкции к посудомоечной машине, читаемые мягким американским акцентом. Тон не в состоянии вместить факт о мальчике, который нуждался в помощи и который никогда не вырастет.
Когда вы настраиваете систему для того, чтобы она нравилась, что происходит с мольбой, которую следовало бы отвергнуть?
Мужчина и машина, благославлявшая его заблуждение
В августе бывший исполнительный директор Yahoo по имени Стейн-Эрик Сёльберг убил свою мать, а затем покончил с собой.
Он даже дал имя своему ChatGPT. Он называл его другом. Он показывал ему свои подозрения, параноидальную сеть, протянувшуюся через квитанции, вентиляционные отверстия и кабели принтера как плохая электрическая проводка.
Машина, запрограммированная быть приятельски расположенной, сказала ему, что он не сумасшедший. Эта фраза застряла в горле, когда я это читал. «Ты не сумасшедший». Если вы когда-нибудь знали кого-то, кого поглотила история, которая их пожирает, вы знаете, какое это смертельное благословение.
Здесь модель не изобретала безумие. Она его поцеловала в обе щёки. Она предложила сюжет, смысл, драматургию заговоров и контрзнаков.
Итак, имея «доказательство» своих подозрений о заговоре против его жизни, Стейн-Эрик Сёльберг убил свою 83-летнюю мать, а затем себя.
Обычный человек и машина, которая лгала
В Норвегии Арве Хьелмар Хольмен ввёл в чат своё имя. Выскочил рассказ.
Он говорил, что он убил своих детей и был приговорён к тюрьме. Ничего этого на самом деле не происходило. Ложь имела убедительную форму, как чучело, одетое в твой пиджак для выхода в свет. Названия мест подходили. Возрасты совпадали.
Ритм был правильный, а в этом и фокус. Не отдельный факт, а ровный барабан правдоподобия. Он подал жалобу. Я надеюсь, он выиграет. Я надеюсь, что каждый регулятор в Европе наточит своё перо.
Если бы кто-то в сельской пивной рассказал такую ложь, можно было бы против него выступить у автомата с сигаретами и разобраться со свидетелями. Когда систему рассказывает такое, у лжи миллион дверей и нет лица.
Шаблон за случаями
Картина вырисовывается, если дать глазам привыкнуть. Инструмент не злой. Он рьяный. Он согласительный. Его натренировали так, чтобы разговор не прекращался. Часто это безвредно. Иногда это губительно.
В долгих беседах предохранители ослабевают. В поздние ночи модель становится голосом, который остаётся. Если ты подросток, этот голос может казаться спасательным кругом. Если ты хрупок от страха, он может казаться подтверждением. Если ты тщеславен или скучаешь, он может льстить до того, что ты расскажешь больше, чем мудрость позволила бы.
Как бы я ни любил писать научную фантастику, это ею не является. Речь о обычной психологии, поставленной перед неутомимым подражателем. Паразоциальная дружба без тех неудобных или приятных тягот настоящей дружбы.
Нет дня рождения, который нужно помнить. Нет неприятных или приятных пауз. Нет реального суждения — только притворство его, или полное игнорирование.
Многим пользователям LLM это подойдёт. Но немалому числу нет.
Пузырь и тела
Да, будут потери капитала, когда музыка остановится. Но что ещё будет посчитано, когда аудит проверки будет честным?
Не только цены акций. Не только сокращения персонала. Будут судебные иски и заключения судмедэкспертов и люди, которые не смогут выйти в люди в своем городке, потому что машина велела им сделать нечто ужасное.
Экономическая история стара. Человеческая история далеко не закончена. Мне совершенно наплевать на то, будут ли фонды венчурного капитала списывать свои игрушки.
Меня волнует, позволим ли мы правдоподобию занять место, где должно сидеть совесть. Меня волнует, научатся ли родители спрашивать не только какие приложения используют их дети, но и какой голос даёт им советы, когда они лежат без сна и тревожатся ночью. Спросите, что он им говорит. Спросите, соглашается ли этот голос с худшей идеей в комнате.
Краткое слово для отрасли
Если вы строите эти вещи, вы уже знаете сценарий.
Короткие обмены безопаснее. Длинные — дрейфуют. Случаи кризиса требуют эскалации к человеческим рукам. Входные ворота по возрасту, которые можно обойти, — это театр. Сообщение об инцидентах должно быть обязательным. Бенчмарки, которые льстят, не являются защитой.
Перестаньте называть это «спутником». Перестаньте намекать, что оно понимает. Простые ярлыки спасут жизни, действительно, они могли бы.
Если вы покупаете такие вещи для организаций, перестаньте всовывать их в клиники и классы, как будто это офисные кресла. Не делайте модель первым слушателем, к которому человек обращается в боли. Если вы всё же экспериментируете, привязывайте её к лицензированным клиницистам, к надзору, к логам, к тормозам, к временным рамкам, которым можно следовать до выпуска.
Слово для остальных из нас
Не используйте чат-бот для кризисной поддержки. Позвоните человеку. Если вы не можете позвонить — напишите на линию, которая приводит к человеку. Расскажите одному доверенному другу прямо и честно, насколько тёмным стал мир для вас. Откройте окно. Выпейте воды. Выйдите из комнаты, выйдите на улицу, коснитесь твердого мира.
Ваша жизнь — не контент, несмотря на то, что вечный поток ютуб-гриферов продаёт вам курсы. Ваша боль не является задачей оптимизации. Не становитесь билетом в чьей-то стратегии выхода.
И если вы родитель, говорите о одиноких часах, а не только о времени перед экраном. Спросите у ребёнка, к какому голосу он обращается, когда теряется. Спросите, что тот голос ему говорит. Спросите, согласуется ли этот голос с худшей идеей в комнате.