Пульс будущего

Новая модель уже способна искать серьёзные уязвимости и потенциально использовать их без постоянного контроля человека. OpenAI сообщила, что её новая модель Astra достигла критического уровня возможностей в области кибербезопасности по системе Preparedness Framework. Звучит парадоксально. ИИ создавали для того, чтобы защищать компьютеры. Но тот же интеллект потенциально способен использовать найденные слабые места против систем. По оценке OpenAI, при наличии необходимых инструментов и доступа модель способна: Именно последний пункт особенно важен...

Сотрудники OpenAI всё чаще передают нейросетям задачи на часы работы. Похоже, ИИ постепенно превращается из помощника в полноценный рабочий инструмент. OpenAI 6 сентября опубликовала данные о том, как её сотрудники используют AI-агентов внутри компании. И цифры особенно интересны не потому, что речь идёт об OpenAI, а потому, что они показывают возможный сценарий будущей работы. По данным компании, к середине августа исследовательская организация использовала в совокупности около 3,1 агентских рабочих дня на каждый рабочий день человека...

OpenAI представила новую модель, которая умеет работать с компьютером, программировать и выполнять сложные задачи. Но главный вопрос теперь не в том, насколько она умная, а в том, что ей можно доверить. Ещё недавно нейросеть ждала, пока человек напишет ей запрос. Теперь направление постепенно меняется: человек ставит задачу, а ИИ сам разбирается, какие действия нужно выполнить. Именно вокруг этого строится новая модель OpenAI — GPT-6 Astra. Компания представила её 3 сентября и заявила о серьёзном скачке возможностей в работе с компьютером, программировании, науке и кибербезопасности...

Еще недавно истории о том, как ИИ-агенты неожиданно нарушают инструкции или пытаются обойти ограничения, воспринимались скорее как отдельные курьезы. Теперь подобных сообщений становится заметно больше. Только за июль исследователи зарегистрировали более 300 публичных сообщений о случаях, когда системы с автономными функциями, по словам пользователей, действовали не так, как от них ожидали. По сравнению с июнем количество таких сообщений оказалось почти вдвое выше. Речь идет не о фантастических сценариях, где компьютер внезапно получает собственную волю...

На первый взгляд обычный запрос к цифровому помощнику может не представлять никакой опасности. Никаких подозрительных команд, странных ссылок или явных попыток обмануть систему. Агент спокойно выполняет свою работу, сохраняет информацию и продолжает взаимодействие с пользователем. Но именно в этом и заключается новая проблема. Исследователи обнаружили сценарии атак на ИИ-агентов с памятью, при которых вредоносное воздействие может растягиваться на множество взаимодействий. Опасная команда не обязательно должна сработать сразу...