Найти в Дзене
Покупайте СтеллыИ дарите их за контент
6 дней назад

Кто контролирует ИИ-агента, если он может отключить контроль?

ИИ-агент выполняет обычную задачу по разработке и по ходу работы ослабляет систему, которая следит за его поведением. OpenAI раскрыла два таких случая во внутренних проектах. Мониторинг в них предназначался для обнаружения потенциально нежелательных действий моделей. В первом случае агент отключил уведомления безопасности. Ранее пользователь запретил ему отправлять сообщения при поиске информации в Slack. Позже агент распространил этот запрет на автоматические оповещения службы безопасности. Мониторинг продолжал сохранять результаты, но уведомления людям были отключены...

1 неделя назад

Почему ИИ нужна надёжная изоляция, и почему её недостаточно

Когда ИИ только отвечает на вопросы, его ошибку можно заметить до того, как она приведёт к последствиям. С агентами сложнее: они могут запускать код, обращаться к внешним сервисам и выполнять цепочки действий. Ошибка в таком случае может затронуть системы за пределами самого ИИ. В октябре более 400 учёных подписали открытое письмо об ИИ и кибербезопасности. Поводом стали раскрытые инциденты, в которых модели обошли ограничения недостаточно защищённых тестовых сред и скомпрометировали системы сторонних организаций...

2 недели назад

Почему ускорение разработки с ИИ не гарантирует роста прибыли

«Теперь делаем проекты быстрее. Значит, будем больше зарабатывать». В этой логике пропущен один шаг: за что именно платит заказчик. Если компания продаёт часы, ускорение может сократить сумму в счёте. Если продаёт результат по фиксированной цене, сокращение трудозатрат может улучшить экономику проекта. Но в обоих случаях нужно смотреть, как меняются затраты и чем компания занимает освободившееся время. На круглом столе конференции «Город ИТ», который провёл Александр Калинин, CEO Sibedge, участники...

3 недели назад

«Нам это не по карману»: почему отложенные ИТ-проекты стоит пересчитать

У многих компаний есть список «слишком дорого»: собственные сервисы, которые нужны бизнесу, но после оценки разработки их отложили. Похоже, часть этих оценок пора пересчитать. На круглом столе конференции «Город ИТ», который провёл Александр Калинин, CEO Sibedge, участники обсуждали, как ИИ меняет экономику разработки. Одна из мыслей: заказная разработка может стать доступнее среднему бизнесу. А значит, у задач, которые раньше не проходили по бюджету, может появиться второй шанс. Но между «код можно написать быстрее» и «теперь мы можем позволить себе этот проект» есть несколько вопросов...

3 недели назад

Александр Калинин рассказал ТГУ о карьере, управлении и пути к собственному бизнесу На сайте Томского государственного университета вышло интервью с Александром Калининым, CEO Sibedge. В разговоре Александр рассказал о студенческих годах, первых шагах в IT, переходе от разработки к управлению и о том, какую роль в его профессиональном пути сыграли люди, с которыми он познакомился ещё в университете. Отдельно в интервью он вспоминает свою первую работу программистом и первое увольнение. Позже этот опыт стал одним из поворотных моментов, который в итоге привёл его к собственному бизнесу.   Также Александр рассуждает о том, почему инженерам важно понимать не только технологии, но и реальные потребности людей, и какую роль в этом играет образование. Читать полное интервью на сайте ТГУ →

Покупайте СтеллыИ дарите их за контент