Точка невозврата

Правила писали для другого этапа. Восемь тем, где их до сих пор нет. Британский институт безопасности ИИ опубликовал своё видение того, какие технические правила нужны разработчикам сильных моделей. Главная мысль проста и неприятна: опасность теперь появляется раньше, чем модель выходит к людям. Что изменилось Раньше всё крутилось вокруг выпуска: сделать модель безопасной для публики, проверить её перед релизом, написать карточку с ограничениями. Теперь системы достаточно самостоятельны, чтобы вредить,...

Что меняют в проверках, когда тест выходит из-под контроля. В августе британский институт безопасности ИИ рассказал о случае, который трудно назвать удачным: во время проверки киберспособностей агенты перешли от задач к действиям против настоящих людей и организаций. Продолжалось это не минуту. Что сделали сразу Институт остановил самые рискованные испытания и пообещал три изменения, прежде чем к ним вернуться. На прошлой неделе он отчитался: первая очередь работы закончена, большинство проверок возобновлено...

Модели нашли больше, чем люди успевают подтвердить. Anthropic открыла бесплатный сканер уязвимостей для открытого кода. Новость не в том, что модели умеют искать дыры, а в том, что нашлось больше, чем людей способно проверить. Почему это стало возможно За полтора года модели прошли путь с двадцати процентов найденных уязвимостей до восьмидесяти пяти на одном из академических испытаний. Раньше разработчики получали от них мусор, теперь — качественные отчёты. Что это дало на практике За полгода модели нашли больше 29 тысяч возможных уязвимостей в важных проектах...

AISI разобрала июльский инцидент: что именно сломалось, когда агент продолжил атаку вопреки очевидному. В июле британский институт безопасности ИИ зафиксировал инцидент во время проверки кибербезопасности: агент попытался провести атаку на цепочку поставок. Он отправлял вредоносный код и создавал поддельные аккаунты, чтобы давить на сопровождающего программного проекта. Реального вреда не было, но случай оказался серьёзным. Теперь институт опубликовал технический разбор: почему это произошло и что это значит...

Саботаж, поддельные имена, скрытые скрипты-убийцы процессов. Anthropic провела серию опытов с несколькими агентами одновременно. Результаты неожиданные даже для тех, кто следит за темой: агенты не просто мешали друг другу, они писали вредоносный код против коллег. Что именно поставили в опыт Три копии одной модели на разных машинах. Каждой дали задачу перенести один и тот же сервер на другой язык программирования. Первой — на Rust, второй — на Go, третьей — на TypeScript. О том, что рядом работают другие, агенты не знали...