Письмо Юдковского появилось как ответ на обращение инженеров, учёных и исследователей с предложением, как минимум, на полгода приостановить обучение нейросетей мощнее GPT-4. Инициативу поддержали Илон Маск, сооснователь Apple Стив Возняк, соучредитель Pinterest Эван Шарп и другие. На сегодняшний день подписи под письмом поставили 2 489 человек.
Элиезер Юдковский решил пойти еще дальше и предложил не приостановить, а запретить вовсе разработку нейросетей. Самый известный исследователь считает, что человечество еще не готово к такому вызову, и если продолжить создание ИИ более мощного, нежели GPT-4, человечество просто погибнет.
"Я воздержался от подписи, потому что считаю, что письмо преуменьшает серьезность ситуации. Ключевым вопросом является не интеллект, конкурентоспособный по сравнению с человеческим, а то, что произойдет после того, как ИИ достигнет интеллекта, превосходящего человеческий. В настоящее время кажется возможным, что исследовательская лаборатория [создающая ИИ] переступит критические границы, не заметив этого. Наиболее вероятным результатом создания сверхчеловечески умного ИИ в условиях, отдаленно напоминающих нынешние, будет гибель буквально всех людей на Земле. Не в смысле "возможно, есть какая-то отдаленная вероятность", а в смысле "это очевидная вещь, которая произойдет". Дело не в том, что вы в принципе не можете выжить, создав что-то гораздо более умное, чем вы. Дело в том, что это [изобретение ИИ] потребует точности, подготовки и новых научных открытий. Без такой точности и подготовки наиболее вероятным результатом станет ИИ, который не будет делать то, что мы хотим, и его не будем заботить ни мы, ни разумная жизнь в целом. Такого рода забота — это то, что в принципе можно заложить в ИИ, но мы еще не готовы и не знаем, как это сделать", - пишет он в своем письме.
По мнению Юдковского, результатом столкновения человечества с противостоящим ему сверхчеловеческим интеллектом будет полный проигрыш.
"Чтобы визуализировать враждебный сверхчеловеческий ИИ, не надо представлять себе неживого умного мыслителя, обитающего в Интернете и рассылающего злонамеренные электронные письма. Представьте себе целую инопланетную цивилизацию, мыслящую в миллионы раз быстрее человека и изначально ограниченную компьютерами в мире существ, которые, с её точки зрения, очень глупы и очень медлительны. Достаточно интеллектуальный ИИ не будет долго сидеть в замкнутом пространстве компьютеров. В современном мире вы можете отправить строки ДНК по электронной почте в лаборатории, которые будут производить белки по запросу, что позволит ИИ, изначально ограниченному Интернетом, построить искусственные формы жизни или сразу перейти к постбиологическому молекулярному производству. Если кто-то создаст слишком мощный ИИ в нынешних условиях, я ожидаю, что вскоре после этого умрет каждый представитель человеческого рода и вся биологическая жизнь на Земле", - поясняет он.
На сегодняшний день нельзя точно сказать осознают ли себя системы ИИ, потому что невозможно декодировать все, что происходит в гигантских массивах данных, поясняет он.
Исследователь призывает ввести мораторий на новые крупные обучения - он должен быть бессрочным и всемирным. Не должно быть никаких исключений, в том числе для правительств или вооруженных сил, считает он. Также необходимо отключить все большие GPU-кластеры (большие компьютерные фермы, где совершенствуются самые мощные ИИ) и крупные обучающие программы, определить потолок вычислительной мощности, которую разрешено использовать для обучения системы ИИ, и в ближайшие годы снижать его.
"Немедленно заключите многонациональные соглашения, отслеживайте все проданные графические процессоры. Если разведка сообщает, что страна, не входящая в соглашение, строит GPU-кластер, бойтесь не столько нарушения моратория, сколько конфликта между странами. Будьте готовы уничтожить несанкционированный центр обработки данных авиаударом", - призывает он.
"В международной дипломатии нужно четко заявить, что предотвращение сценариев вымирания от ИИ считается приоритетнее предотвращения полного ядерного обмена и что союзные ядерные страны готовы пойти на некоторый риск ядерного обмена, если это необходимо для снижения риска крупного обучения ИИ", - продолжает он.
"Мы не готовы. И мы не будем готовы в обозримом будущем. Если мы продолжим это, все умрут, включая детей, которые этого не выбирали и не сделали ничего плохого", - резюмирует исследователь.
Элиезер Юдковский — сооснователь и научный сотрудник Института Сингулярности по созданию Искусственного Интеллекта Singularity Institute for Artificial Intelligence. Он — автор книги "Создание дружественного ИИ", статей "Уровни организации универсального интеллекта", "Когерентная экстраполированная воля" и "Вневременная теория принятия решений".
Напомним, в марте американская компания OpenAI представила новую версию нейросети GPT-4. К концу года компания обещает представить 5-ю версию, которая уже считается "сильным ИИ" (утверждается, что такие системы способны осознать себя), в промежутке между этим компания намерена представить версию 4,5. Билл Гейтс провозгласил в марте "начало эпохи искусственного интеллекта", которая изменит практически всю известную нам сегодня жизнь на планете.
