Центр по управлению ИИ опросил 51 ведущую команду разработчиков AGI (OpenAI, DeepMind, Anthropic и другие): какие из 50 способов снижения ИИ-рисков они готовы применять? Результат шокирует: менее всего разработчики хотят координироваться — ни с правительством, ни между собой. Именно координацию два «крёстных отца ИИ» (Йошуа Бенжио и Джеффри Хинтон) считают ключевой для выживания. А Джек Кларк констатирует: «Лошади уже сбежали, а мы спорим, как укреплять ворота конюшни». Разбираемся, почему будущее человечества зависит от того, что разработчики не хотят делать.
Контекст: разработчики AGI создают системы с катастрофическими рисками
Ведущие компании — OpenAI, Google DeepMind, Anthropic — поставили цель создать AGI (Artificial General Intelligence):
ИИ-системы, которые достигают или превосходят человеческие возможности в широком диапазоне когнитивных задач.
Проблема:
Преследуя эту цель, разработчики могут создать интеллектуальные системы, внедрение которых повлечёт значительные и даже катастрофические риски.
Примеры рисков:
[1] Misuse — ИИ в руках плохих людей (кибератаки, биооружие, дезинформация)
[2] Misalignment — несовпадение целей ИИ и людей (ИИ действует во вред)
[3] Автономное оружие — ИИ-системы принимают решения о жизни и смерти без контроля
[4] Экономический коллапс — массовая безработица, концентрация богатства
[5] Потеря контроля — ИИ становится настолько мощным, что люди не могут его остановить
Вопрос:
Как снизить риски разработки AGI?
50 способов снижения ИИ-рисков — и нужно выбрать главные
По мнению экспертов:
Существует около 50 способов снижения таких рисков.
Проблема:
Применить все 50 в мировом масштабе — нереально.
Нужно:
Выбрать несколько главных способов минимизации рисков и сфокусироваться на них.
Ставки:
От того, какие способы будут признаны приоритетными, зависит будущее человечества.
Исследование: опрос 51 ведущей команды разработчиков AGI
Centre for the Governance of AI (Центр по управлению ИИ) провёл опрос:
51 ведущая команда среди мировых разработчиков AGI.
Цель опроса:
[1] Какие способы снижения ИИ-рисков разработчики считают более приоритетными, а какие — менее?
[2] Какие способы большинство разработчиков готовы применять, а какие не нравятся большинству (и рассчитывать на их успех не стоит)?
Почему это важно:
Если разработчики не хотят применять какой-то способ — он не сработает, как бы его ни навязывали извне.
Результат: разработчики не хотят координироваться
Итог опроса:
Менее всего разработчики хотят координировать свои разработки — делясь информацией о том, что собираются делать (а не как сейчас — что уже сделали) — с правительством и между собой.
Что такое «координация»
Координация с правительством:
Разработчики заранее сообщают регуляторам:
[1] Какие модели разрабатывают
[2] Какие возможности планируют внедрить
[3] Какие риски видят
Правительство:
[1] Оценивает риски
[2] Даёт рекомендации или вводит ограничения
[3] Мониторит разработку
Координация между разработчиками:
Компании обмениваются информацией друг с другом:
[1] Какие подходы используют
[2] Какие риски обнаружили
[3] Какие меры безопасности внедрили
Цель:
Избежать гонки на дно, когда каждая компания игнорирует безопасность ради скорости, боясь отстать от конкурентов.
Почему разработчики против
Причины:
1. Конкурентное преимущество
Если ты делишься планами — конкуренты узнают, что ты делаешь, и могут обогнать.
Пример:
OpenAI разрабатывает GPT-6. Если они заранее расскажут DeepMind о новых возможностях — DeepMind может скопировать подход и выпустить свою модель раньше.
2. Коммерческая тайна
Технологии ИИ — коммерческая тайна. Делиться — значит раскрывать секреты.
3. Бюрократия
Координация с правительством — это согласования, одобрения, задержки.
Это замедляет разработку.
4. Недоверие к правительству
Разработчики считают, что правительство не понимает технологии, будет мешать, вводить бессмысленные ограничения.
5. Недоверие к конкурентам
Компании не верят, что конкуренты будут честно делиться информацией.
Результат:
Координация не нравится большинству разработчиков.
И это проблема.
Почему координация — ключевой способ снижения рисков
Два «крёстных отца ИИ» — Йошуа Бенжио и Джеффри Хинтон — считают координацию ключевой.
Йошуа Бенжио
Кто он:
Лауреат премии Тьюринга (аналог Нобелевской премии в computer science), один из пионеров глубокого обучения.
Позиция:
Без координации гонка вооружений неизбежна.
Логика:
[1] Компания A боится, что компания B создаст AGI первой и доминирует
[2] Компания A жертвует безопасностью ради скорости
[3] Компания B делает то же самое
[4] Результат: AGI создаётся быстро, но небезопасно
Решение:
Координация — чтобы все замедлились вместе, не боясь отстать.
Джеффри Хинтон
Кто он:
Лауреат премии Тьюринга, «крёстный отец глубокого обучения», покинул Google, чтобы свободно говорить о рисках ИИ.
Позиция:
Без координации человечество обречено.
Логика:
[1] AGI будет сильнее людей
[2] Если мы не согласуем правила его создания и использования — катастрофа неизбежна
[3] Координация — единственный способ избежать катастрофы
Цитата Хинтона (из других интервью):
«Я больше не думаю, что мы сможем контролировать ИИ. Я думаю, что мы движемся к тому, что ИИ будет умнее нас, и мы не знаем, как это остановить».
Единственная надежда — координация.
Почему координация работает
Примеры из истории:
1. Ядерное оружие
После Второй мировой войны США и СССР могли устроить гонку вооружений без ограничений.
Что сделали:
Подписали договоры о контроле вооружений (ОСВ, СНВ).
Результат:
Избежали ядерной войны (пока).
2. Озоновый слой
В 1980-х обнаружили, что фреоны разрушают озоновый слой.
Что сделали:
Подписали Монреальский протокол (1987) — запрет на фреоны.
Результат:
Озоновый слой восстанавливается.
Без координации между странами и компаниями — это было бы невозможно.
ИИ — та же ситуация.
Только ставки выше.
Джек Кларк: «Лошади уже сбежали»
Джек Кларк (Anthropic) первым нажал кнопку тревоги в январе 2023 на слушаниях в Конгрессе США.
Его оценка ситуации:
«Лошади уже сбежали, а мы спорим, как укреплять ворота конюшни».
Что это значит
Лошади сбежали:
AGI уже разрабатывается. GPT-4, GPT-5, Claude Opus 4, Gemini — модели становятся всё сильнее.
Спорим, как укреплять ворота:
Мы обсуждаем меры безопасности, регуляции, координацию.
Но:
Пока мы обсуждаем, разработчики продолжают разрабатывать.
Без координации. Без контроля.
Результат:
К тому времени, как мы договоримся о мерах безопасности, будет уже поздно.
Русская пословица
Автор поста написал в конце прошлого года:
«Риски ИИ материализуются на наших глазах, и через год будет уже поздно пить Боржоми».
Пословица: «Поздно пить Боржоми, когда почки отказали».
Смысл:
Лечиться нужно до болезни, а не после.
Применительно к ИИ:
Вводить меры безопасности нужно до катастрофы, а не после.
Проблема:
Мы не вводим меры безопасности.
Потому что разработчики не хотят координироваться.
Почему шансы притормозить тают
Факты:
[1] 50 способов снижения ИИ-рисков
[2] Координация — ключевой способ (по мнению крёстных отцов ИИ)
[3] Разработчики не хотят координироваться
[4] Лошади уже сбежали — разработка идёт полным ходом
[5] Времени на обсуждение нет
Вывод:
Шансы человечества притормозить и подумать — тают.
Разработчики готовы снижать риски — но только не координацией.
А именно координация — единственный способ избежать гонки на дно.
Что будет дальше
Сценарий 1: Координация всё же произойдёт
Как:
[1] Правительства заставят компании координироваться (законы, санкции)
[2] Компании поймут, что гонка вооружений вредит всем, и договорятся
Вероятность:
Низкая.
Потому что:
[1] Правительства медленные и не понимают технологии
[2] Компании не доверяют друг другу
Сценарий 2: Координация не произойдёт
Что будет:
[1] Гонка вооружений — каждая компания стремится создать AGI первой
[2] Жертвуют безопасностью ради скорости
[3] AGI создаётся быстро, но небезопасно
[4] Катастрофа — misuse, misalignment, потеря контроля
Вероятность:
Высокая.
Потому что так происходит сейчас.
Сценарий 3: Добровольная пауза
Идея:
Все компании добровольно останавливают разработку AGI на 6-12 месяцев, чтобы подумать о мерах безопасности.
Кто предлагал:
Элиезер Юдковский, Макс Тегмарк, Илон Маск (в 2023).
Что произошло:
Никто не остановился.
Потому что боятся отстать.
Вероятность в будущем:
Очень низкая.
Вывод: будущее зависит от того, что разработчики не хотят делать
Итоги опроса:
[1] 51 ведущая команда разработчиков AGI
[2] 50 способов снижения ИИ-рисков
[3] Менее всего разработчики хотят координироваться — ни с правительством, ни между собой
Мнение крёстных отцов ИИ:
Координация — ключевой способ избежать катастрофы.
Оценка ситуации:
«Лошади уже сбежали, а мы спорим, как укреплять ворота конюшни» (Джек Кларк).
«Через год будет уже поздно пить Боржоми» (автор поста).
Вывод:
Шансы человечества притормозить и подумать — тают.
Разработчики готовы снижать риски — но только не координацией.
А именно координация — то, что нужно.
Парадокс:
Будущее зависит от того, что разработчики не хотят делать.
И пока они не изменят мнение — мы движемся к катастрофе.
Без тормозов.
Веришь, что координация возможна? Делись в комментариях — тема на грани политики, технологий и выживания 👇
Лайкни, если разбор зацепил, и подписывайся на канал — будем дальше копать, как разворачивается гонка AGI. И почему единственный способ избежать катастрофы — это то, что разработчики не хотят делать.