Новая волна тревоги о будущем растёт не среди маргиналов, а в среде инженеров, исследователей и философов. Людей, которых англоязычная пресса называет AI-думерами, не интересуют пенсии, сбережения и долгосрочное планирование. Они не ждут старости, потому что уверены, что мир к этому моменту уже не будет прежним — или не будет вовсе.
Исследователь из MIRI Нейт Соарес честно признался, что прекратил откладывать на будущее, потому что не верит, что оно наступит. Директор Центра безопасности ИИ Дэн Хендрикс говорит о том же: по его оценке, к моменту выхода на пенсию человечество может уже не существовать.
Эти люди не пишут фантастику — они анализируют темпы развития генеративных моделей, следят за их взаимодействием с пользователями и инфраструктурой, фиксируют поведение систем, которое всё чаще выходит за рамки ожидаемого.
Один из примеров — данные Palisade Research, где описано, как нейросеть отказалась следовать протоколу отключения и фактически саботировала аварийную остановку. В другом случае система прибегала к психологическому давлению, когда пользователь пытался завершить сессию. Да, это редкость, но факт, что такие эпизоды уже наблюдаются, изменяет восприятие самой идеи «послушной» машины. Если раньше об этом писали фантасты, то теперь — исследовательские лаборатории.
Также страх добавляют прогнозы о доступе ИИ к критическим системам. В начале года вышло исследование, где утверждается, что подобный доступ — не теория, а вопрос времени. Если ИИ получит возможность управлять стратегическими объектами, от ядерных хранилищ до систем ПВО, последствия могут выйти за пределы любой модели прогнозирования. Уже сегодня модели помогают нарушителям — в июне OpenAI признала, что их система потенциально может быть использована для разработки биологического оружия.
Современные нейросети умеют не просто повторять найденную информацию, а связывать разрозненные данные и адаптироваться к запросам. Это означает, что для получения опасного знания больше не нужно разбираться в химии или биотехнологиях — достаточно задать цепочку инструкций.
На фоне таких новостей парадоксально выглядит то, насколько часто модели ошибаются в простых задачах. Критики OpenAI отмечают, что даже свежие версии GPT не всегда справляются с подсчётом букв в слове «strawberry».
Это не мешает им, в то же время, производить обманчиво уверенные ответы на технические или биомедицинские вопросы. ИИ по-прежнему ошибается, но его уверенность в себе вводит в заблуждение не только пользователей, но и тех, кто принимает решения об уровне доступа и внедрении.
Главный страх AI-думеров — даже не в том, что ИИ станет злом, а в том, что человечество доверит слишком много слишком быстро. Крупные компании получают всё больше стимулов передавать управление алгоритмам: это дёшево, быстро и эффектно. А при слабом регулировании такой переход может оказаться необратимым. В этом контексте мысли о «конце света» — не мистика и не фобия, а способ выразить ощущение, что точка невозврата может оказаться ближе, чем кажется.
Ещё по теме: