Microsoft разворачивает в Израиле «красную команду» (Red Team) для взлома собственных ИИ-продуктов и начинает активно нанимать людей. Локация выбрана не случайно – Израиль с его опытом в разведке, ИБ и кибербезопасности, подходит на эту роль идеально, потому что здесь есть подходящие кадры и менталитет. Довольно цинично, но и подход максимально серьёзный – компания создавала подразделение ещё в 2018 году, а именно сейчас планирует большое расширение. Само подразделение замаскировано под R&D, но из тысяч сотрудников половина заняты в кибербезопасности. Так что, по сути, это не R&D центр, а большой ИБ-полигон
По планам Microsoft, специалисты в компании автоматизированных агентов будут круглосуточно атаковать инфраструктуру Azure и Copilot, имитируя реальных противников. Пока в соцсетях вполне оправданно смеются над галлюцинациями (придуманными фактами и лишними пальцами на картинках), для бизнеса это проблема куда серьёзнее. Ведь ИИ перестал быть просто чат-ботом и стал прослойкой между сотрудником и корпоративными данными. Главный риск теперь – не глупый ответ, а успешная атака (например, с инъекцией собственных инструкций злоумышленника), когда модель, имеющая доступ к рабочей почте или базам данных, сливает секреты наружу и уничтожает корпоративные данные.
Microsoft на этом пути не единственные. Те же Google в марте прошлого года совершили рекордную сделку – купили стартап в области облачной безопасности Wiz.
Удивительным образом так вышло, что тоже израильский. И чем дальше, тем больше индустрия признаёт, что логика работы языковых моделей предполагает взлом, навязывание ролей, подмену инструкций и прочие подобные неприятности. А учитывая, с какой скоростью технологию сегодня интегрируют в CRM, ERP, корпоративные сервисы и итоговые продукты, вокруг каждого «умного помощника» приходится строить второй невидимый продукт – жёсткую систему инструкций, ограничений и надзора.
Каждый ваш лайк и подписка помогают нам увеличить аудиторию и создавать еще больше достоверного и интересного контента.