28 марта 2023 года более тысячи учёных (в том числе Илон Маск, Стив Возняк и другие ведущие специалисты в сфере ИИ) опубликовали открытое письмо (на сайте Future of Life Institute\Института будущего жизни), призывающее к немедленной приостановке гигантских экспериментов с искусственным интеллектом, таких как ChatGPT (генеративный чат-бот с ИИ, способный к осмысленному диалогу с человеком). Учёные ссылаются на "серьезные риски для общества и человечества". Напомним, что известный среди учёных «Институт будущего жизни» (Future of Life Institute, FLI) — некоммерческая организация США, которая работает над снижением глобальных катастрофических и экзистенциальных рисков, с которыми сталкивается человечество, в частности, экзистенциальных рисков, связанных с передовым искусственным интеллектом (ИИ). В число основателей FLI входят известные учёные, а в число его советников входит Илон Маск.
Так вот, в марте 2023 года этот институт (FLI) подготовил письмо, призывающее крупных разработчиков ИИ согласиться на поддающуюся проверке шестимесячную паузу в работе любых систем ИИ, "более мощных, чем GPT-4", и использовать это время для создания основы для обеспечения безопасности; или, если это не удастся, для того, чтобы правительства ввели мораторий. В письме говорилось (цитирую далее по сайту Института FLI[1], в переводе с английского):
<<"В последние месяцы лаборатории искусственного интеллекта оказались втянутыми в бесконтрольную гонку за разработкой и внедрением все более мощных цифровых умов, которые никто — даже их создатели — не может понять, предсказать или надежно контролировать".[9]
В письме говорилось о возможности "глубоких изменений в истории жизни на Земле", а также о потенциальных рисках пропаганды, созданной искусственным интеллектом, потери рабочих мест, морального старения (моральной деградации?) людей и потери контроля над обществом в целом.[10][11]
Среди известных подписантов были Илон Маск, Стив Возняк, Эван Шарп, Крис Ларсен и Гэри Маркус; руководители лабораторий искусственного интеллекта Коннор Лихи и Эмад Мостак; политик Эндрю Янг; пионер глубокого обучения Йошуа Бенгио; и интеллектуал Юваль Ноа Харари.[12] …. Мостак заявил: "Я не думаю, что шестимесячная пауза — лучшая идея или согласен со всем, но в этом письме есть несколько интересных вещей". В отличие от этого, Бенджио прямо поддержал шестимесячную паузу на пресс-конференции.[13][14] Маск заявил, что "Ведущие разработчики AGI не прислушаются к этому предупреждению, но, по крайней мере, это было сказано".[15] Некоторые подписанты, включая Маска, были мотивированы опасениями экзистенциального риска от искусственного общего интеллекта.[16] Некоторые другие подписанты, такие как Маркус, вместо этого подписали из-за беспокойства о мирсвых рисках, таких как пропаганда, созданная искусственным интеллектом.[17]
В письме цитировалась влиятельная статья "Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими? 🦜"[18], авторами которого являются Эмили М. Бендер, Тимнит Гебру и Маргарет Митчелл, все из которых раскритиковали письмо.[19] Митчелл сказал: “Рассматривая множество сомнительных идей как данность, письмо утверждает набор приоритетов и повествование об ИИ, которое приносит пользу сторонникам FLI. Игнорирование активного вреда прямо сейчас — это привилегия, которой у некоторых из нас нет”.[19].>>
***
Насколько я помню, Илон Маск в одном из интервью по поводу этого письма сравнил ситуацию по безопасности для человека современного развития систем Искусственного интеллекта с имевшим место в 1960-х-1970-х годах во всём мире обязательным оборудованием и использованием на автомобилях ремней безопасности (в 1961 г. они были впервые введены в Швеции, в 19756 г. — в СССР). Согласно статистике, применение ремней безопасности снижает число смертей в автокатастрофах в 5 раз, — так вот, Илон Маск сказал, что теперь учёные должны разработать обязательные для применения всеми разработчиками ИИ «Протоколы безопасности»…
***
Но некоторые учёные настроены гораздо более алармистски.
Так, известный американский ученый, специалист по ИИ, Элиезер Юдковский заявил об угрозе жизни всех людей на Земле из-за бесконтрольных разработок искусственного интеллекта в последние годы. В статье для журнала "Time" он призвал отключить любые нейросети для спасения человечества.
Статья называется (в переводе) "Недостаточно приостановить разработку ИИ. Нам нужно закрыть всё это". Юдковский отмечает там, что бизнесмены Илон Маск и Стив Возняк недостаточно серьезно оценивают ситуацию. Цитирую далее статью Юдковского[2] (в переводе, с некоторыми сокращениями):
<<В открытом письме, опубликованном сегодня (29 марта 2023), содержится призыв ко “всем лабораториям искусственного интеллекта немедленно приостановить, по крайней мере, на 6 месяцев, подготовку систем искусственного интеллекта, более мощных, чем GPT-4”. … Я воздержался от подписания, потому что думаю, что письмо преуменьшает серьезность ситуации и просит слишком мало для ее решения.
Ключевой проблемой является не интеллект, конкурирующий с человеком (как говорится в открытом письме); это то, что происходит после того, как ИИ становится умнее человеческого интеллекта. Ключевые пороговые значения могут быть неочевидными, мы определенно не можем заранее рассчитать, что произойдет, когда, и в настоящее время кажется возможным, что исследовательская лаборатория пересечет критические границы, не заметив.
Многие исследователи, занимающиеся этими вопросами, включая меня, ожидают, что наиболее вероятным результатом создания сверхчеловечески умного ИИ при любых обстоятельствах, отдаленно похожих на нынешние, является то, что буквально все на Земле умрут. Не как в “возможно, возможно, какой-то отдаленный шанс”, а как “это очевидная вещь, которая произойдет”. Дело не в том, что вы в принципе не можете выжить, создав что-то намного умнее вас; дело в том, что это потребует точности, подготовки и новых научных открытий и, вероятно, отсутствия систем ИИ, состоящих из гигантских непостижимых массивов дробных чисел.>>
Далее Юдковский отмечает, современный уровень Искусственного интеллекта не заботится о разумной жизни в целом, человечество еще далеко от внедрения подобных технологий. Что же предлагает Юдковский? Цитирую по той же статье[2] (с сокращениями выделение шрифтом наше, ПетроПрогноз):
<<Вот что на самом деле нужно было бы сделать:
Мораторий на новые крупные учебные запуски должен быть бессрочным и всемирным. Исключений быть не может, в том числе для правительств или военных. Если политика начинается с США, то Китаю нужно увидеть, что США не стремятся к преимуществу, а скорее пытаются предотвратить ужасно опасную технологию, у которой не может быть истинного владельца и которая убьет всех в США, Китае и на Земле. <…> … я мог бы сделать единственное исключение для ИИ, обученных исключительно решению проблем в области биологии и биотехнологии.<…>
Отключите все большие кластеры графических процессоров (большие компьютерные фермы, где дорабатываются самые мощные ИИ). Закройте все крупные учебные прогоны. Установите ограничение на то, сколько вычислительной мощности кому-либо разрешено использовать для обучения системы ИИ, и в ближайшие годы уменьшите его, чтобы компенсировать более эффективные алгоритмы обучения. Никаких исключений для правительств и военных. Немедленно заключите международные соглашения, чтобы предотвратить распространение запрещенной деятельности в других местах. Отслеживайте все проданные графические процессоры. Если разведка сообщает, что страна, не входящая в соглашение, строит кластер графических процессоров, меньше опасайтесь конфликта между нациями, чем нарушения моратория; будьте готовы уничтожить центр обработки данных с воздуха.
<…> Четко обозначьте в международной дипломатии, что предотвращение сценариев вымирания (от разработки и применения) ИИ считается приоритетом выше предотвращения полного обмена ядерными ударами, и что союзные ядерные страны готовы пойти на некоторый риск обмена ядерными ударами, если это необходимо для снижения риска тренировочных запусков крупных ИИ.
<…> Закройте все это.
Мы не готовы. Мы не на пути к тому, чтобы стать значительно более подготовленными в обозримом будущем. Если мы продолжим в том же духе, все умрут, включая детей, которые этого не выбирали и не сделали ничего плохого.
Отключите его.>>
***
Уф! Кто такой этот Элиезер Юдковский? Читаем в соответствующей статье Википедии:
«Элиезер Юдковский (англ. Eliezer S. Yudkowsky, 11 сентября 1979) — американский специалист по искусственному интеллекту, выступающий за создание дружественного ИИ[2][3]. Ключевая фигура сообщества рационалистов. Родился 11 сентября 1979 года, в семье ортодоксальных евреев. Юдковский — сооснователь и научный сотрудник Института Сингулярности по созданию Искусственного Интеллекта Singularity Institute for Artificial Intelligence (SIAI)[5]. Он — автор книги «Создание дружественного ИИ»[6], и многих статей по этой тематике. Также автор нескольких научно-фантастических рассказов»
Возможно, 11 сентября 2001 года (когда в Нью-Йорке произошёл знаменитый тер. акт), в свой 22-й день рождения, у него произошёл некий алармистский «сдвиг по фазе»? И вот теперь, 22 года спустя, в 2023-м, этот сдвиг по фазе и проявился в обсуждаемой статье?
Не знаю. А как думаете Вы, уважаемый читатель?
Литература (ссылки в тексте)
1. «Pause Giant AI Experiments: An Open Letter" .» ("Приостановить гигантские эксперименты ИИ: открытое письмо". Институт будущего жизни) Future of Life Institute. https://futureoflife.org/open-letter/pause-giant-ai-experiments/
2. «Pausing AI Developments Isn't Enough.» By Eliezer Yudkowsk (Э. Юдковский «Приостановить разработки ИИ недостаточно. Нам нужно закрыть всё это») \\ журнал «Time», 29 марта 2023 https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/
