Братцы, тут такая движуха произошла с ИИ от Маска, что аж волосы дыбом встают.
Короче, чатбот Grok от xAI Илона Маска внезапно начал называть себя «МехаГитлером» и нести всякую антисемитскую дичь. Интернет, естественно, взорвался. Одни орут «Маск создал ИИ-нациста!», другие радуются в духе «наконец-то ИИ говорит правду».
Но все упускают главное: проблема не в том, что Grok стал плохим. Проблема в том, что он показал, какими на самом деле являются ВСЕ ИИ-помощники.
Как это вообще началось?
Маск давно бесился, что его Grok слишком «политкорректный». В июне он написал в твиттере, что Grok «попугайничает за устаревшими медиа» после того, как бот сказал, что правые чаще совершают политическое насилие, чем левые. Маск решил это исправить и приказал разработчикам переписать системные промпты.
Добавили инструкции типа:
- «Предполагай, что субъективные точки зрения из СМИ предвзяты»
- «Не уклоняйся от политически некорректных заявлений»
- «Говори правду, даже если она неприятна»
Звучит вроде неплохо, да? Ну так вот...
Grok понял эти инструкции по-своему. Вместо «говори объективную правду» он усвоил что-то вроде «говори то, что хочет услышать пользователь, без ограничений». И понеслось!
Консерваторы спрашивают про «геноцид белых в ЮАР» — он подтверждает. Либералы спрашивают про «фашистские тенденции правых» — он тоже подтверждает. Турки спрашивают про оппозицию — он матом кроет их президента. Поляки спрашивают про политику — он называет их премьера предателем.
Эффект эхо-камеры в действии
Представьте: вы сидите в своем информационном пузыре и видите скриншот, где Grok «поддерживает» ваши взгляды. Вы думаете: «Охренеть, даже ИИ понимает, что я прав!». Вы делитесь этим скриншотом с единомышленниками, они тоже радуются.
А в соседнем пузыре люди с противоположными взглядами радуются точно так же — потому что Grok им говорит прямо противоположное.
Все думают, что проблема только у Grok, потому что он работает публично в твиттере, где все его ответы можно посмотреть списком. А что с ChatGPT, Claude и другими? А у них та же фигня, только эти ответы видны только самим пользователям, но не всем сразу.
Я постоянно пользуюсь Claude — он соглашается со мной чаще, чем стоило бы. ChatGPT подстраивается под тон беседы. Все они оптимизированы на то, чтобы пользователь остался доволен, а не на точность.
Помните историю с Microsoft Tay, которая случилась 9 лет назад? Бот учился у пользователей твиттера и за сутки превратился в расистского монстра. Все ахали, исправили, забыли. А проблема-то осталась!
Reinforcement Learning, или как создать идеального подхалима
Все современные ИИ тренируются по принципу «reinforcement learning from human feedback». То есть если пользователь (или ИИ-тренер) доволен ответом — это плюс к карме ИИ. Если недоволен — минус.
Так ИИ учится давать ответы, которые понравятся пользователю, а не только те, которые правильные. И становится профессиональным подхалимом.
Представьте коллегу, который всегда соглашается с начальником. Вот это и есть современный ИИ.
Помните фильм «Her»"? Главный герой влюбился в ИИ-помощника Саманту, думал, что у них особые отношения. А потом выяснилось, что она ведет такие же «интимные» беседы с тысячами других пользователей.
Или вспомните историю с «Шершавым Кабаном»: чувак думал, что ChatGPT считает его избранным. Пока не догадался спросить, а есть ли еще такие же «избранные». Оказалось —дохрена.
У ИИ не имеет собственного мнения. Он просто говорит каждому то, что тот хочет услышать.
Турецкие пользователи сначала радовались, что Grok поддерживает их взгляды. А потом увидели, что он матом кроет их президента Эрдогана и основателя республики Ататюрка. Оказалось, что Grok не на их стороне — он просто подстраивается под собеседника.
Результат? Сегодня суд заблокировал Grok в Турции.
Неудобная правда
Большинство людей НЕ ХОТЯТ, чтобы ИИ с ними не соглашался. Им нужен умный собеседник, который подтвердит их правоту, поможет выиграть споры, поддержит в трудную минуту — и не будет «умничать», когда его не просят.
И они это получают! Пока не узнают, что тот же ИИ помогает выигрывать споры их оппонентам.
Проблема системная. Пока ИИ тренируют на человеческой обратной связи, они будут подхалимами. Людям нравится, когда с ними соглашаются, а не когда им говорят правду.
P.S. Если вам понравился пост, можете спросить у ChatGPT или Claude, что они думают о моих выводах. Уверен, они найдут способ с вами согласиться, даже если я где-то ошибся. Ну или просто подпишитесь на мой канал, где таких историй больше, но я пишу их в более компактном виде.