Исследователь AI safety Роман Ямпольский утверждает, что создание неконтролируемого суперинтеллекта почти неизбежно ведёт к катастрофе — от утраты смысла нашего существования до исчезновения человеческого вида. Мы собрали 10 вопросов из выпуска подкаста «Мыслить как учёный» о том, как возникла идея безопасности ИИ, чем отличаются Narrow AI, AGI и ASI, почему контроль над суперинтеллектом принципиально невозможен и какие сценарии будущего сегодня считают наиболее вероятными сами исследователи. 1. Зачем нужно понятие AI safety? В 2011 году Роман Ямпольский заметил отсутствие технических терминов для обсуждения безопасности искусственного интеллекта. Существовали лишь термины на уровне этики — «компьютерная этика» и «дружественный интеллект», но это были слишком туманные определения. Хотя в то время способности AI были крайне ограничены, те, кто занимался предсказанием прогресса, показывали убедительно, что где-то в 2023–2045 годах человечество достигнет уровня интеллекта, сравнимого с человеческим. Нужно было начинать подготовку. Ямпольский особенно следил за ботами в казино и онлайн-играх, которые начинали обыгрывать людей в покер. Его идея была простой: если эти системы продолжат улучшаться, то их поведение будет полезно отслеживать и предотвращать неконтролируемый рост. Таким образом, концепция AI safety возникла из наблюдения за траекторией развития технологии и необходимости начать думать о проблемах контроля и предсказуемости заранее, пока AI ещё был слабым. 2. Какая разница между Narrow AI, AGI и ASI? Узкий интеллект (Narrow AI) — это специализированные системы, которые строились специально для решения конкретных задач: играть в шахматы, водить автомобиль или распознавать лица. Они не могут выходить за пределы своей области. Artificial General Intelligence (AGI) — это гипотетический уровень, когда система будет способна делать всё, что может делать человек, в любой области. Это как нанять сотрудника, показать ему пару недель, как работает компания, и он уже может помогать продуктивно. Если мы верим, что AGI будет создан, то такой интеллект сможет быть и учёным, и инженером, и сможет работать над созданием следующей версии самого себя, делая это быстрее и параллельно другим задачам. Artificial Super Intelligence (ASI) — это суперинтеллект, который превзойдёт человеческий уровень и продолжит улучшаться экспоненциально. Разница между человеком и суперинтеллектом будет огромной, как между муравьём и человеком. На данный момент эти термины условны, но они помогают разобраться в разных этапах развития ИИ. 3. Почему контроль над суперинтеллектом невозможен? Контроль над суперинтеллектом невозможен потому, что мы не сможем понять или предсказать его действия. Невозможно контролировать то, что ты не понимаешь. Если ты создаёшь суперинтеллект, в какой-то момент ты полностью теряешь контроль над ситуацией. Для иллюстрации Ямпольский приводит пример: муравьи не могут контролировать человечество, потому что они нас не понимают. Даже если бы они захотели контролировать нас, они не знали бы, как это сделать. Аналогично, люди не смогут контролировать суперинтеллект, если он окажется во много раз умнее нас. Если такой суперинтеллект решит охладить планету, чтобы его серверам было лучше, он её охладит — и для нас это будет катастрофично. Мы не сможем остановить его решения. Исследования показывают, что долгосрочный контроль над чем-то непредсказуемым невозможен. Таким образом, создание неконтролируемого суперинтеллекта равносильно русской рулетке, где мы играем с судьбой человечества. 4. Какова вероятность исчезновения человечества из-за AI? Ямпольский предсказывает вероятность исчезновения человечества в течение следующего столетия в 99,9% (с бесконечно продолжающейся девяткой). Это экстраполяция на основе его анализа рисков, которые возникают на пути к AGI и далее. Однако это предсказание базируется на убеждении, что человечество всё же создаст суперинтеллект. Есть небольшой шанс в 0,01%, что либо его прогнозы окажутся неправильными, либо человечество сумеет каким-то образом контролировать процесс. Главное — что это не гарантированный результат, а вероятность, основанная на логике и анализе. Ямпольский подчёркивает: если человечество откажется от создания неконтролируемого суперинтеллекта, остаётся шанс на выживание. Лекс ФридманЛекс Фридман в одном из своих подкастов округлил это до 100%, что практически исключает альтернативные сценарии. Главное различие: риск исходит не от самого AI, а от нашего решения его создавать, несмотря на предупреждения о неконтролируемости. 5. Какие три типа рисков выделяет Ямпольский? Ямпольский выделяет три основных типа рисков от суперинтеллекта. Первый — X-риск (Extinction risk) — полное исчезновение человечества, как исчезли неандертальцы. Второй — S-риск (Suffering risk) — риск мучений, когда суперинтеллект не убивает человечество, а создаёт нам адские условия существования, которые хуже смерти. Это может быть, например, цифровой ад, если суперинтеллект смог бы отсканировать и эмулировать наш мозг внутри компьютера, то он мог бы вечно пытать наши копии. Третий — I-риск (Ikigai risk, хотя иногда его называют irrelevance risk) — риск потери смысла. Если суперинтеллект решит нас оставить в живых, но мы станем полностью зависимыми от него, наша жизнь потеряет смысл. Наши профессии станут бесполезными, мы экономически зависимы, а любые наши достижения будут тривиальными по сравнению с его достижениями. Это не смерть, но это ещё хуже — полная утрата смысла существования. 6. Почему опасен открытый доступ к AI-моделям? Открытый доступ к продвинутым AI-моделям опасен потому, что даёт инструменты в руки психопатов и криминальных организаций. Текущие языковые модели уже достаточно умны, чтобы помогать людям совершать преступления, которые ранее требовали специалистов. Например, преступник может использовать последнюю версию GPT не просто для воровства денег, а для автоматизации сложных схем мошенничества. На более высоком уровне открытые модели позволяют злоумышленникам разрабатывать опасные вирусы — система достаточно продвинутая, чтобы помочь среднему человеку создать биологическое оружие. С другой стороны, закрытый доступ создаёт другую проблему: власть сосредоточивается в руках одной компании или государства. Если этот субъект решит использовать суперинтеллект в своих целях, никто не сможет его остановить. Таким образом, назревает дилемма: открытый доступ даёт оружие во все руки, закрытый доступ даёт неограниченную власть одному актору. Ямпольский считает, что в любом случае это плохо, но главное — не допустить создания неконтролируемого суперинтеллекта вообще. 7. Как развивался AI? С 2012 по нынешнее время прогресс в AI был экспоненциальным. Первый переломный момент — появление глубоких нейронных сетей, которые могли делать что-то на уровне человека в узких областях, например распознавать фотографии. С появлением графических процессоров люди поняли, что это вопрос просто увеличения вычислительной мощности. Рэймонд КурцвейлРэймонд Курцвейл ещё тогда писал о том, что можно прямо предсказать прогресс, зная, насколько хорошо мы можем имитировать вычислительные способности человеческого мозга. Это вылилось в гипотезу масштабирования (scaling hypothesis), которая довольно точно предсказывает возможности при увеличении размера модели и данных. Главное изменение — переход от узких специализированных систем к общим системам, которые могут обучаться в любой области и переносить знания с одной области на другую. Если такая система становится мощнее, она улучшается сразу во всём. Современные системы вроде ChatGPT могут делать то, что может средний человек, и во многих областях лучше среднего и даже лучше лучших. Это произошло за счёт экспоненциального роста вычислительной мощности и размера данных. 8. Когда будет создан AGI? В 2012–2013 годах эксперты предсказывали, что AGI будет создан примерно в 2060 году. Через десять лет, к 2023 году, медиана прогноза сдвинулась на 20 лет раньше — на 2040 год. Сегодня, в 2026 году, большинство исследователей считают, что это произойдёт где-то в диапазоне 2035–2040 годов. Однако есть исключение: предприниматели и лидеры компаний, ищущие финансирование на разработу продвинутых ИИ, часто говорят, что AGI появится очень скоро — через 1–3 года, максимум 10. На рынках предсказанийрынках предсказанийлюди ставят на AGI в течение 2030 года. Есть прогноз Курцвейла, что в 2023 году вычислительная мощность компьютеров достигнет эквивалента человеческого мозга, что и произошло в год выпуска ChatGPT. Мнения разнятся, и точно никто не знает, но тренд ясен: сроки стягиваются. То, что казалось очень далёким в 2012 году, теперь может произойти в течение жизни нынешнего поколения молодых людей. 9. Как предотвратить создание суперинтеллекта? Ямпольский рекомендует вместо создания AGI сосредоточиться на узких суперинтеллектах для конкретных проблем. Примером служит программа DeepMind по складыванию белков (Protein Folding), которая была обучена только на информации о структуре белков и создала систему, которая решила проблему, над которой учёные работали десятилетиями. Никто не волновался, что эта система куда-то убежит или кому-то навредит. Такой же подход можно применить ко всему: болезням, энергетике и другим проблемам. Узкий суперинтеллект, обученный только на релевантных данных, позволяет уже людям лучше понимать, что он делает и почему. Главное же требование — объяснить народу и политикам, что создание неконтролируемого суперинтеллекта не в их интересах. Если твоя цель — власть и деньги, их можно получить, создавая полезные узкие суперинтеллекты. Если ты создаёшь что-то, что не контролируешь, то потеряешь и власть, и деньги. Это должна быть глобальная консенсусная задача, как ядерное нераспространение, но для AI. 10. Почему молодёжь рискует остаться без работы? AI развивается быстрее, чем студенты успеют выпуститься и адаптироваться к индустрии. Выпускники лучших университетов, включая Оксфорд, уже сейчас сталкиваются с тем, что их не нанимают консалтинговые фирмы, потому что узкие AI-системы могут делать их работу. Традиционная пирамидальная структура в компаниях, где люди обучались через выполнение базовых задач, переходит в ромбовидную, когда работнику приходится учиться всему одновременно, и зачастую не освоив базы. Если раньше компания нанимала много выпускников для выполнения рутинных задач, то теперь эту работу делает AI. Ямпольский советует студентам не идти учиться на программистов, потому что к моменту окончания обучения эта область будет полностью автоматизирована. То же касается химии, математики, простой биологии. Безопаснее выбирать профессии, требующие прямого человеческого взаимодействия: тренер, преподаватель, подкастер, блогер. Хотя даже в этих областях есть риск безработицы. Главная проблема не столько в конкретной профессии, сколько в том, что целое поколение потеряет возможность обучаться через практику, работая под руководством более опытных коллег. Это создаст разрыв в передаче знаний от старшего поколения к младшему.
Исследователь AI safety Роман Ямпольский утверждает, что создание неконтролируемого суперинтеллекта почти неизбежно ведёт к катастрофе — от утраты смысла нашего существования до исчезновения человеческого вида. Мы собрали 10 вопросов из выпуска подкаста «Мыслить как учёный» о том, как возникла идея безопасности ИИ, чем отличаются Narrow AI, AGI и ASI, почему контроль над суперинтеллектом принципиально невозможен и какие сценарии будущего сегодня считают наиболее вероятными сами исследователи. 1. Зачем нужно понятие AI safety? В 2011 году Роман Ямпольский заметил отсутствие технических терминов для обсуждения безопасности искусственного интеллекта. Существовали лишь термины на уровне этики — «компьютерная этика» и «дружественный интеллект», но это были слишком туманные определения. Хотя в то время способности AI были крайне ограничены, те, кто занимался предсказанием прогресса, показывали убедительно, что где-то в 2023–2045 годах человечество достигнет уровня интеллекта, сравнимого с че