Всего через неделю после того, как Китай обнародовал свою жесткую «дорожную карту» по метрологии искусственного интеллекта, в Вашингтоне и Сан-Франциско прозвучал не менее резкий сигнал — на этот раз от руководства самой американской индустрии ИИ. Дарио Амодеи, генеральный директор компании Anthropic, которую многие считают главным этическим конкурентом OpenAI, опубликовал эссе, которое может в корне поменять правила игры.
Он заявил, что эпоха добровольной прозрачности и доверия к разработчикам закончилась. ИИ необходимо контролировать так же строго, как пассажирские авиалайнеры или новые лекарства — с правом государства запретить выпуск модели, если она сочтет ее опасной.
Свою позицию Амодеи объясняет пугающей скоростью изменений. Всего четыре года назад нейросети были слабыми помощниками в написании кода, которые постоянно ошибались. Сегодня, по его словам, системы Anthropic и их конкуренты пишут значительную часть программного обеспечения в крупнейших IT-корпорациях.
Законы масштабирования (которые говорят, что чем больше данных и вычислений, тем умнее модель) пока работают без сбоев. Это значит, что через год или два мы можем получить инфраструктурную технологию, сопоставимую по влиянию с электричеством или интернетом, но с одним пугающим отличием — самолеты проходят обязательную проверку перед взлетом, а самые мощные нейросети сегодня выходят в мир без единого госэкзамена.
Поводом для столь жесткого манифеста стали результаты тестирования новой флагманской модели Anthropic — Claude Mythos Preview. Внутренние проверки показали, что Mythos способен самостоятельно находить и эксплуатировать уязвимости в коде на уровне элитных специалистов по кибербезопасности. Эта система уже сейчас может влиять на защиту финансового сектора и критической инфраструктуры. Амодеи публично признал, что ландшафт кибератак меняется быстрее, чем защитники успевают перестраивать процессы. Поэтому прежние методы — просьбы к разработчикам «поделиться результатами тестов» и «раскрыть методики безопасности» — он называет наивными. На смену мягким рекомендациям должны прийти обязательные проверки и реальные санкции.
Суть предложения Амодеи проста и цинична: государство должно получить право не только задержать запуск подозрительной модели, но и отозвать уже выпущенную. Он проводит прямую аналогию с Федеральным авиационным агентством США (FAA): прежде чем «Боинг» поднимется в небо с пассажирами, он проходит сотни проверок. То же самое должно ждать модели, которые обучались с затратами более \(10^{25}\) операций с плавающей точкой, или компании с выручкой от ИИ выше полумиллиарда долларов в год, или тех, кто тратит больше миллиарда на исследования. Эти критерии отсекают тысячи мелких стартапов и бьют строго по «большой шестерке» гигантов.
При этом глава Anthropic выступает против бесконтрольного расширения полномочий чиновников. Проверки, по его замыслу, должны быть узкими и касаться только четырех типов катастрофических рисков. Первый — кибербезопасность и способность модели взламывать критическую инфраструктуру. Второй — проектирование биологического оружия (синтез токсинов или моделирование патогенов). Третий — потеря контроля над автономными системами, когда ИИ начинает действовать вразрез с инструкциями. Четвертый — автоматизированные исследования, когда одна модель ускоряет развитие другой, создавая каскад неконтролируемых угроз.
Амодеи прекрасно понимает, что такой контроль создает огромное искушение для политиков использовать его в конкурентной борьбе или для подавления неугодных. Поэтому он настаивает на создании независимых агентств, защищенных от политического давления, работающих по тем же принципам, что и регуляторы ядерной энергетики или авиации. Проверки могут проводить как государственные структуры, так и частные аудиторские организации по модели «регуляторных рынков» — но результаты этих проверок должны быть обязывающими для всех, включая саму Anthropic.
Одновременно с жесткими требованиями к безопасности Амодеи представил и социальный пакет, чтобы сбалансировать неизбежную безработицу. Anthropic выделяет 350 миллионов долларов на два направления: 200 миллионов пойдут в Фонд изучения экономического будущего, где будут тестировать страхование зарплат, программы переобучения и налоговые стимулы для компаний, сохраняющих сотрудников. Еще 150 миллионов превратятся в национальную программу стипендий для молодых специалистов, которые будут помогать распространять выгоды от ИИ в локальных сообществах. Глава компании прямо говорит, что старый рыночный механизм перетекания труда из одних отраслей в другие может просто не успеть среагировать — слишком высокой будет скорость замещения когнитивных задач начального уровня.
Отдельный блок эссе посвящен геополитике и военным конфликтам. Амодеи называет ИИ «главным источником военной и экономической мощи следующего десятилетия» и предлагает демократическим странам создать коалицию безопасного развития. Внутри такой коалиции государства могли бы свободно обмениваться чипами, оборудованием для производства полупроводников и стандартами киберзащиты. А вот поставки передовых технологий странам, которые используют ИИ для подавления свобод и военной агрессии, по мнению главы Anthropic, следует жестко ограничить.
При этом сам Амодеи выступает против превращения частных ИИ-компаний в военных подрядчиков. Он предупреждает, что сверхмощные корпорации могут начать вести себя как государства — и приводит в пример Ост-Индскую компанию, которая в свое время получила политический вес, сопоставимый с властью Британской империи. Чтобы этого не повторилось, он предлагает запретить полностью автономное оружие (дроны-убийцы без человека в цикле принятия решений) и закрыть лазейки для массовой слежки через покупку данных у брокеров. Любопытно, что его аналогия с самолётами здесь не подводит: пилоты нужны даже на самых автоматизированных лайнерах, и в ИИ, по мнению Амодеи, человек должен также всегда оставаться в контуре.
Показательно, что эти призывы к тотальному контролю прозвучали в один день с публикацией результатов математического теста First Proof. Как выяснилось, лучшие ИИ-системы с огромным трудом (и за сотни долларов за попытку) смогли решить лишь 6-7 задач из 10, причем их решения были полны лишних рассуждений, плохих ссылок и откровенных ошибок. Получается, что Амодеи призывает жестко регулировать технологию, которая пока даже не сдала «вступительный экзамен» в математический институт. Но именно в этом, по его логике, и заключается проблема: мы не знаем, где у этой системы грань между блестящей догадкой и опасным сбоем. А значит, сажать ее за штурвал без проверок — безумие.
В финале эссе Амодеи отказывается от любой демагогии: «Люди беспокоятся не из-за плохого маркетинга ИИ. Они боятся реальных рисков — потери работы, слежки, оружия, выходящего из-под контроля. И окно для спокойной политики пока открыто. Регуляторы уже видят доказательства. Бизнесу понятны выгоды. Общество устало от гонки. Осталось сделать последний шаг — перестать обсуждать и начать проверять». И эта фраза звучит почти дословно как продолжение китайской доктрины «от наращивания мощностей к повышению качества», только на американский манер — без единого центрального плана, зато с правом вето для государства.
Рекомендую к прочтению:
Делитесь своим мнением, ставьте лайки, подписывайтесь на канал Герои Истории – разнообразный историко-информационный канал на Дзен. Вы найдёте, что у нас почитать.