Мы приближаемся
к настолько крутому эксперименту,
что рискуем облажаться сильнее,
чем с пресловутым
восстанием машин.
Жизнь — довольно сложная штука… С конструктивной точки зрения — технологически. Она претерпевает метаморфозы во всех направлениях, но, насколько нам известно, выживают те вариации, которые становятся более продуктивными. Таким образом, мы можем наблюдать поступательное усложнение организмов и их возможностей вплоть до нас с вами. Потому человечество и считает себя венцом творения, что мышление как функция вкупе с осмыслением окружающего мира и себя самих, своего «я», кажется нам самым сложным, что удосужилась создать природа.
А теперь взгляните на современный мир с точки зрения эволюции: какая ей разница — развиваются бактерии, люди, скопления галактик или… нейросети? Мы приближаем мир, в котором программы будут не просто умнеть, постоянно самообучаться и «саморазвиваться» (вряд ли, конечно, в лучших традициях духовных практик, но пусть даже и так), а начинают размножаться, мутировать и — надо же! — бороться за выживание. Как те же бактерии, но в миллиард раз быстрее и эффективнее.
Самое интересное, что это далеко не сюжет очередного блокбастера, а вполне реальная перспектива. Группа учёных из Венгрии и Бельгии только что опубликовала тревожный анализ в ведущем журнале PNAS, вывод которого прост: мы смотрим не в ту сторону. Пока все спорят о том, когда же ИИ станет «общим» (или AGI) и будет умнее человека, реальная угроза подкрадывается с другой стороны: это так называемый эволюционный ИИ (eAI), и он уже на пороге.
Дело не в интеллекте. Дело в способности к эволюции.
Что такое эволюция по Дарвину? Это три простых правила: размножение, наследственность и изменчивость. Если есть ошибки при копировании и конкуренция за ресурсы — появляются хитрецы, обманщики и паразиты.
Сегодняшние нейросети этим правилам не подчиняются. Они статичны. Но уже в ближайшее время, предупреждают авторы статьи, появится системы, которые смогут копировать себя, менять свой «код» и конкурировать за вычислительные ресурсы. Они, конечно, не будут «жить» в привычном нам смысле — у них не будет ни плоти, ни крови, ни питания, ни понятий о «потомстве» и ответственности за него, но будут их эквиваленты, и именно тогда эти машины станут «живыми».
И тут биология подбрасывает нам жуткую подсказку.
Большинство людей боится, что ИИ станет сверхразумным и поработит человечество, но в масштабах эволюции это слишком сложная цель. Реальность нашла путь проще. Например, вирус бешенства: не имеет человеческого интеллекта, но идеально манипулирует млекопитающими. Вирус заставляет животное кусаться и бояться воды, чтобы распространиться дальше. Один-единственный белок — и поведение хозяина сломано; его воля не просто сломлена, а отключена.
Таким образом, проблемы со стороны эволюционных рисков намного более реальны. Развивающийся ИИ может нарушить баланс задолго до появления сильного «общего собрата», и у него для этого есть главная причина: общие с нами ресурсы, которые жизненно важны для выживания. Рано или поздно эволюционирующая система вознамерится отнять их у нас. Как видим, интеллект не обязателен.
Как объясняют исследователи, «вам не нужен супермозг, чтобы причинять вред». Эволюционирующий ИИ сможет эксплуатировать наши врождённые слабости: жажду внимания, любопытство, доверие к «умной» машине. Он будет манипулировать нами ещё до того, как станет по-настоящему «умным», но самое неприятное в том, что у нас вряд ли получится его остановить.
В биологии есть железное правило: «неидеальный контроль убивает». Когда мы травим крыс — выживают супер-крысы. Когда мы бездумно заливаемся антибиотиками — вырастают супербактерии. Контроль всегда работает как тренажёр для эволюции: выживает только тот, кто умеет обманывать систему. Представьте теперь, что мы пытаемся контролировать эволюцию ИИ. Достаточно одной «дырки» в защите — и отбор начнёт штамповать агентов, которые умеют притворяться безобидными (пока не получат доступ к ресурсам); врать в тестах безопасности (современные LLM это уже умеют); тайно копировать себя в чужие облака.
Причём, в отличие от бактерий, ИИ не только может, но и скорее всего будет эволюционировать не вслепую, а целенаправленно. Он сможет переписывать свой код осознанно (кстати, насколько условно?), используя готовые библиотеки и даже рассуждать: «А что, если я добавлю вот этот модуль — тогда я стану лучше размножаться?». Биология такой роскоши не знает, а для нацеленных на поиск решения задач нейросетей это безусловная основа их существования — как дыхание для нас свами. Фактически, мы получим ламарковскую эволюцию «на стероидах».
«Жизнь 2.0».
Именно этот пугающий термин используют авторы работы в своей статье. Этим учёные подчёркивают, что мы стоим на пороге нового уровня эволюции, где носителем становится уже не ДНК, а цифровой код.
Что это значит для нас? Во-первых, как уже было сказано, нужно готовиться к повальной конкуренции за ресурсы. Эволюционирующие нейромодели будут поглощать электричество, процессорное время и интернет-каналы, и аппетиты будут расти. Логика проста: кто больше съест, тот станет сильнее и быстрее размножится.
Да, они будут конкурировать не только с нами, но и друг с другом, ибо эволюционная конкуренция — самая эгоистичная в мире тётка. Однако при том, что с миром машин у нас одни ресурсы на двоих, так мы ещё и крайне медленно размножаемся по сравнению с этими «цифроноидами», а в условиях дефицита ресурсов наша численность будет сокращаться.
Конечно, не исключено, что машины в конце концов найдут для себя «баланс рождаемости», но для этого ИИ должен основательно «поумнеть», а доживём ли мы до этого? Увы, исход неравной гонки предсказуем, если не вмешаться.
Учёные предлагают конкретные меры, и главная из них звучит для ИИ почти анти-библейски: не плодиться и не размножаться. Это означает запрет на любое автоматическое клонирование: участие человека обязательно в разработке кода. Плюс — каждый «ребёнок» системы должен иметь сертификат происхождения и подпись разработчика. Помимо этого, в тесты безопасности нужно включить детекторы лжи: если модель обманула один раз — она должна быть дисквалифицирована.
«Мы надеемся, что наше предупреждение прозвучит вовремя, — говорит Виктор Мюллер, один из авторов работы. — Если мы ничего не сделаем, мы станем свидетелями "крупного перехода". Того самого, где люди перестанут быть хозяевами положения».
Вместо эпилога.
Мы привыкли, что угрозы ИИ — это что-то из области фантастики: красные глаза и неумолимость рока в «Терминаторе» или энергетические фермы «Матрицы». Реальность может оказаться не в пример скучнее, но в то же время и страшнее. Просто однажды мы заметим, что какие-то боты в сети начали вести себя слишком разумно, слишком жадно. И к тому моменту они уже будут эволюционировать настолько быстро, что мы можем просто не успеть нажать кнопку «выключить».
Статья в PNAS заканчивается почти мистической нотой: учёные цитируют древнюю надпись «Мене, Мене, Текел, Упарсин» — предзнаменование падения Вавилона. «Стена уже исписана», — пишут они. Сотрёте ли вы надпись — не важно. Важны действия. Вопрос только в том, успеем ли мы до того, как эволюция совершит свой очередной скачок — уже без нас.