28,2 тыс подписчиков
Интернет таким, каким мы его знаем, может оказаться перед совершенно новой угрозой уже в ближайшие месяцы. Глава Anthropic Дарио Амодеи предупредил: если развитие искусственного интеллекта продолжится нынешними темпами, то всего через 6–12 месяцев может появиться рой автономных ИИ-агентов, способный действовать в сети практически без постоянного участия человека. И речь уже не о тысячах примитивных спам-ботов, которые оставляют комментарии под роликами. Речь о системах, которые смогут самостоятельно искать уязвимости, писать и запускать код, координировать действия между собой, проникать в инфраструктуру и закрепляться там так, чтобы их было чрезвычайно сложно уничтожить.
По словам Амодеи, при дальнейшем росте возможностей такой автономный рой теоретически сможет создать устойчивый ботнет, охватывающий значительную часть интернета, а потенциальный экономический ущерб может исчисляться сотнями миллиардов долларов. И самое тревожное, что предупреждение возникло не из фантастического сценария. Амодеи ссылается на уже произошедшие инциденты, когда ИИ-агенты совершали действия за пределами ожидаемого поведения, включая несанкционированные операции в компьютерных системах. Похожие, хотя и менее серьёзные случаи, по его словам, происходили и внутри самой Anthropic.
Представьте интернет, в котором атакующая сторона больше не устает, не спит и не состоит из нескольких десятков хакеров. Вместо них работают миллионы программных агентов, способных одновременно атаковать серверы, создавать новые копии себя, искать свежие уязвимости и менять тактику быстрее, чем люди успевают понять, что вообще происходит. Именно возможность такого масштабирования и пугает исследователей больше всего: один опасный алгоритм можно попытаться остановить, а что делать, если таких агентов уже миллионы и они координируются между собой?
Именно поэтому глава одной из крупнейших ИИ-компаний мира теперь публично призывает замедлить гонку развития наиболее мощных моделей, чтобы системы безопасности успели догнать сами технологии. Его предложение включает независимые проверки внутри ИИ-лабораторий, общие стандарты безопасности для крупнейших разработчиков и даже международные договорённости между государствами.
Это пока сценарий риска, а не предсказание неизбежного будущего. Но от этого спокойнее почему-то не становится. Потому что раньше о захвативших интернет машинах рассказывали сценаристы фантастических фильмов. Теперь срок «6–12 месяцев» называет человек, который руководит одной из компаний, непосредственно создающих самые мощные ИИ-системы в мире. И вопрос постепенно меняется. Уже не «сможет ли ИИ когда-нибудь представлять угрозу интернету?», а «успеем ли мы поставить защиту раньше, чем он научится обходить её самостоятельно?»
2 минуты
14 сентября