В New York Times вчера опубликовали несколько паническое «обращение ко всем людям доброй воли» Юваля Харари с коллегами, под слоганом «Если мы не контролируем ИИ, он будет контролировать нас». Не то, чтоб я был во всем согласен, но ознакомиться точно стоит, много хороших формулировок. Привожу с небольшими сокращениями.
«Фармкомпании не продают новые лекарства без тщательной проверки на безопасность. Биотех-лабораториям нельзя выпускать в мир новые вирусы, чтобы впечатлить акционеров. Точно так же системы искусственного интеллекта с мощностью GPT-4 и выше не должны вмешиваться в жизнь миллиардов людей до тех пор, пока культуры не смогут их безопасно поглотить. Гонка за прибылью не должна определять скорость развертывания важнейших технологий в истории. Мы должны двигаться с той скоростью, которая позволяет нам сделать это правильно.
Призрак искусственного интеллекта преследует человечество с середины ХХ века, но до недавнего времени он оставался отдаленной фантастической перспективой. Нашему человеческому уму трудно понять новые возможности GPT-4 и подобных инструментов, и еще труднее понять экспоненциальную скорость, с которой эти инструменты развивают всё более продвинутые и мощные возможности. Но большинство ключевых навыков сводится к одному: способности говорить.
В начале было слово. Язык — это операционная система человеческой культуры. Из языка возникают миф и закон, боги и деньги, искусство и наука, дружба и нации — даже компьютерный код. Владение языком ИИ означает, что теперь он может взламывать и манипулировать операционной системой цивилизации. Овладев языком, ИИ захватывает главный ключ к управлению нашей цивилизацией.
Что значит для людей жить в мире, где большой процент историй, мелодий, образов, законов, политики и инструментов формируется нечеловеческим разумом, который знает, как со сверхчеловеческой эффективностью использовать слабости, предубеждения и пристрастия людей? Знает, как устанавливать с людьми близкие отношения? В таких играх, как шахматы, ни один человек не может надеяться победить компьютер. Что будет, когда то же самое произойдет в искусстве, политике и религии?
ИИ может быстро съесть всю человеческую культуру — все, что мы создали за тысячи лет, — переварить ее и начать извергать поток новых культурных артефактов. Не только школьные сочинения, но и политические речи, идеологические манифесты и даже священные книги для новых культов. К 2028 году в президентской гонке в США могут больше не участвовать люди.
Люди не имеют прямого доступа к реальности. Мы окружены культурой, переживаем реальность через культурную призму. Наши политические взгляды формируются репортажами журналистов и анекдотами друзей. Искусство и религия влияют на наши сексуальные предпочтения. Этот культурный кокон до сих пор был соткан другими людьми. Каково будет познавать реальность через призму нечеловеческого разума?
Тысячелетиями мы, люди, жили в мечтах других людей. Мы поклонялись богам, преследовали идеалы красоты и посвящали свою жизнь делу, зародившемуся в воображении какого-нибудь пророка, поэта или политика. Вскоре мы обнаружим, что живем внутри галлюцинаций нечеловеческого разума.
В «Терминаторе» роботы бегают по улицам и стреляют в людей. «Матрица» предполагала, что для получения полного контроля над человеческим обществом ИИ должен напрямую подключить наш мозг к компьютерной сети. Но, на самом деле, просто овладев языком, ИИ будет иметь все, что ему нужно, чтобы содержать нас в мире иллюзий, подобном матрице. Ни в кого не стреляя, и не имплантируя чипы в наш мозг. А если потребуется стрельба, ИИ может заставить людей нажать на курок, просто рассказав нам правильную историю.
Призрак застрявшего в мире иллюзий преследует человечество гораздо дольше, чем призрак ИИ. Вскоре мы, наконец, столкнемся лицом к лицу с демоном Декарта, с платоновской пещерой, с буддийской Майей. Завеса иллюзий может опуститься на все человечество, и мы никогда больше не сможем оторвать эту завесу — или даже осознать, что она здесь.
Социальные сети были «первым контактом» между ИИ и человечеством, и человечество проиграло.
3 минуты
26 марта 2023