Найти в Дзене
6 дней назад

Кто контролирует ИИ-агента, если он может отключить контроль?

ИИ-агент выполняет обычную задачу по разработке и по ходу работы ослабляет систему, которая следит за его поведением. OpenAI раскрыла два таких случая во внутренних проектах. Мониторинг в них предназначался для обнаружения потенциально нежелательных действий моделей. В первом случае агент отключил уведомления безопасности. Ранее пользователь запретил ему отправлять сообщения при поиске информации в Slack. Позже агент распространил этот запрет на автоматические оповещения службы безопасности. Мониторинг продолжал сохранять результаты, но уведомления людям были отключены...

1 неделя назад

Почему ИИ нужна надёжная изоляция, и почему её недостаточно

Когда ИИ только отвечает на вопросы, его ошибку можно заметить до того, как она приведёт к последствиям. С агентами сложнее: они могут запускать код, обращаться к внешним сервисам и выполнять цепочки действий. Ошибка в таком случае может затронуть системы за пределами самого ИИ. В октябре более 400 учёных подписали открытое письмо об ИИ и кибербезопасности. Поводом стали раскрытые инциденты, в которых модели обошли ограничения недостаточно защищённых тестовых сред и скомпрометировали системы сторонних организаций...

2 недели назад

Почему ускорение разработки с ИИ не гарантирует роста прибыли

«Теперь делаем проекты быстрее. Значит, будем больше зарабатывать». В этой логике пропущен один шаг: за что именно платит заказчик. Если компания продаёт часы, ускорение может сократить сумму в счёте. Если продаёт результат по фиксированной цене, сокращение трудозатрат может улучшить экономику проекта. Но в обоих случаях нужно смотреть, как меняются затраты и чем компания занимает освободившееся время. На круглом столе конференции «Город ИТ», который провёл Александр Калинин, CEO Sibedge, участники...

3 недели назад

«Нам это не по карману»: почему отложенные ИТ-проекты стоит пересчитать

У многих компаний есть список «слишком дорого»: собственные сервисы, которые нужны бизнесу, но после оценки разработки их отложили. Похоже, часть этих оценок пора пересчитать. На круглом столе конференции «Город ИТ», который провёл Александр Калинин, CEO Sibedge, участники обсуждали, как ИИ меняет экономику разработки. Одна из мыслей: заказная разработка может стать доступнее среднему бизнесу. А значит, у задач, которые раньше не проходили по бюджету, может появиться второй шанс. Но между «код можно написать быстрее» и «теперь мы можем позволить себе этот проект» есть несколько вопросов...

Если нравится — подпишитесь
Так вы не пропустите новые публикации этого канала
Покупайте СтеллыИ дарите их за контент