Ник Бостром снова зашел с неожиданной стороны. В новой работе Optimal Timing for Superintelligence он предлагает перестать сравнивать развитие сверхразума с русской рулеткой. По его мнению, более точная аналогия — это рискованная операция при смертельной болезни. Не «играть или не играть», а оперироваться сейчас или ждать, пока станет безопаснее — рискуя умереть без вмешательства.
И это меняет сам тон дискуссии.
Русская рулетка или байпас?
Nick Bostrom — философ, автор книги Superintelligence — долгое время ассоциировался с предупреждениями о рисках ИИ. Но в новой работе он делает ход, который многих удивит: он утверждает, что даже высокий риск катастрофы может быть рационально оправдан.
Почему?
Потому что базовый сценарий — это не «безопасный мир».
Базовый сценарий — это:
📉 старение
📉 болезни
📉 170 000 смертей ежедневно
📉 накопление экзистенциальных угроз
Если сверхразум способен радикально продлить жизнь и устранить ключевые угрозы, то отказ от его разработки — это тоже риск. Просто более привычный.
Математика против интуиции
Бостром строит серию формальных моделей. Он берет максимально «земной» взгляд — без разговоров о симуляциях, бесконечной этике или космических масштабах. Только интересы ныне живущих людей.
Базовый пример:
⚙️ Средняя оставшаяся продолжительность жизни — около 40 лет
⚙️ При успешном AGI — условно 1400 лет (если смертность станет как у здорового 20-летнего)
Даже если риск полной катастрофы составляет десятки процентов, ожидаемая продолжительность жизни при запуске AGI все равно оказывается выше.
Это звучит шокирующе. Но если операция дает шанс прожить 1400 лет вместо 40, даже риск в 50% уже выглядит иначе.
Время — ключевой параметр
Но главный вклад работы — не в этом простом сравнении, а в анализе когда запускать.
Бостром вводит динамическую модель:
⚙️ Риск катастрофы со временем снижается благодаря прогрессу безопасности
⚙️ Но ожидание стоит нам лет жизни
⚙️ И будущие годы могут дисконтироваться
Возникает сложный баланс:
📈 Быстрое развитие — выше риск
📉 Медленное развитие — больше смертей до наступления «эры сверхразума»
Результат удивительно устойчив:
в большинстве реалистичных параметров оптимальная задержка невелика — месяцы или единичные годы, а не десятилетия.
Фаза «быстро к гавани, медленно к причалу»
Самая интересная идея — разделение на этапы:
🚀 Фаза 1 — достижение AGI
⏸ Фаза 2 — короткая пауза перед масштабным развертыванием
Бостром показывает, что прогресс безопасности вероятно будет неравномерным:
🧪 До появления реального AGI мы работаем «вслепую»
🔬 После появления системы возможен резкий скачок в тестировании и проверке
📉 Затем — эффект убывающей отдачи
Отсюда его формула:
двигаться быстро к достижению способности, но быть готовыми к короткой паузе перед масштабированием.
Не бесконечный мораторий. Не хаотичный запуск. А управляемая фаза торможения в самой критической точке.
А если мы просто запретим?
Бостром отдельно анализирует побочные эффекты пауз и запретов:
⚠️ Работа уходит в подполье
⚠️ Усиливается милитаризация
⚠️ Возникает алгоритмический «перегрев» после снятия запрета
⚠️ Формируется тоталитарный контрольный аппарат
⚠️ Пауза превращается в перманентный запрет
Это не аргумент «против безопасности».
Это аргумент против наивной веры в простой мораторий как универсальное решение.
Кто хочет быстрее, кто — медленнее?
Интересная часть работы — демография.
С точки зрения индивидуального интереса:
👴 Пожилые и больные предпочли бы более ранний запуск
🧑 Молодые и здоровые могут позволить себе ждать
💰 Люди с низким качеством жизни больше готовы рискнуть
Если применять приоритет тем, кто «хуже обеспечен судьбой» (prioritarian подход), это дополнительно сдвигает оптимальную дату ближе.
Это неудобный вывод для комфортных слоев общества.
Мой взгляд
Работа Бострома не говорит: «Нужно срочно запускать сверхразум».
Она говорит другое:
бездействие — это тоже ставка.
Мы привыкли воспринимать риск ИИ как добавочный.
Но если старение и глобальные угрозы — это медленно тикающая бомба, то отказ от технологии — это выбор остаться с текущими рисками.
Мне кажется, ключевой сдвиг здесь философский:
⚡ Вопрос не «рискован ли AGI?»
⚡ Вопрос «по сравнению с чем?»
И если базовая линия — 170 000 смертей в день и нарастающие технологии двойного назначения, то обсуждение становится менее эмоциональным и более стратегическим.
Прогноз
Если подход Бострома будет воспринят серьезно, дискуссия об ИИ сместится:
📉 От «остановить всё»
📈 К «как минимизировать переходный риск»
⚙️ От абстрактной паники
🧪 К фазовой стратегии с тестированием
Мы можем увидеть больше разговоров о краткосрочных паузах на этапе масштабирования, а не о десятилетних запретах.
И возможно, через несколько лет лозунг будет звучать не «заморозить AGI», а:
быстро к возможностям, осторожно к развертыванию.
Источники
🔗 Оригинальная работа Ника Бострома:
https://nickbostrom.com/optimal.pdf
Если коротко:
Бостром предлагает перестать играть в метафоры про револьвер.
И начать считать риски как хирурги — с холодной головой и учетом того, что пациент уже болен.