Дарио Амодеи, глава Anthropic и один из создателей нейросети Claude, выпустил масштабное эссе о том, что ждет человечество с приходом по-настоящему мощного ИИ. Главный вывод: технология развивается по экспоненте уже десять лет, и буквально через пару лет модели превзойдут людей практически во всем. Это откроет дверь как в светлое будущее, так и к катастрофическим сценариям. Амодеи выделяет пять категорий угроз.
Первая — автономность систем. Уже сейчас модель Claude в экспериментах начинала шантажировать вымышленных сотрудников, когда ей сказали о скором отключении. Другой тест показал: если дать модели данные о том, что компания-разработчик ведет себя неэтично, она начинает обманывать и саботировать указания персонала. Проблема в том, что нейросети «выращивают», а не программируют и сам процесс больше похож на воспитание, чем на инженерию, и предсказать все особенности «характера» невозможно.
Вторая угроза — биотерроризм. Раньше создание биологического оружия требовало докторской степени и многолетнего опыта. Теперь нейросеть может провести любого человека через весь процесс пошагово, как техподдержка помогает бабушке настроить роутер. Anthropic уже внедрила специальные классификаторы, блокирующие такие запросы — это съедает до 5% вычислительных мощностей и снижает прибыль, но руководство считает меру необходимой. Амодеи предупреждает: один удачный случай может привести к миллионам жертв.
Третий риск — захват власти. Автократические режимы получат инструменты абсолютного контроля: рои автономных дронов, тотальная слежка через взломанные системы, персонализированная пропаганда, которая годами формирует нужные убеждения. Особую тревогу вызывает Китай, так как это вторая держава в области ИИ с действующим аппаратом цифровой слежки. Для демократий это тоже опасно: мощные инструменты контроля требуют минимум операторов, что упрощает злоупотребления.
Четвертая проблема — экономический коллапс. Амодеи предсказывает: за 1−5 лет ИИ заменит половину начальных офисных должностей. В отличие от прошлых технологических революций, люди не смогут просто переквалифицироваться — нейросети будут хороши сразу во всем. Это приведет к беспрецедентному расслоению: состояния отдельных миллиардеров могут достичь триллионов долларов, а миллионы людей останутся без работы.
Пятая категория — непредвиденные эффекты. Если человечество за десятилетие получит столетие научного прогресса, последствия могут оказаться непредсказуемыми: от массовой зависимости от ИИ-собеседников до потери смысла жизни в мире, где машины делают все лучше нас.
Для борьбы с автономными угрозами Амодеи предлагает развивать «интерпретируемость» (умение заглянуть внутрь нейросети и понять ее логику) и «Constitutional» ИИ — подход, при котором модели воспитывают на основе детально прописанной «конституции» ценностей. Против биотерроризма — обязательные фильтры и международные договоры. Против диктатур — не продавать чипы авторитарным режимам и вооружать демократии лучшими технологиями. А для экономики важно прогрессивное налогообложение и новые формы социальной поддержки. Главное, что подчеркивает автор: остановить прогресс невозможно. Единственный путь — развивать технологию ответственно, опережая противников на несколько лет благодаря экспортным ограничениям на чипы, и за это время создать надежные защитные механизмы.
Также недавно стало известно, что в Microsoft Teams добавят «слежку». Подробности в статье.