Найти в Дзене

#news У экстремистов из Meta случился конфуз с ИИ-агентом в системах

Один инженер спросил совета на внутреннем форуме, второй закинул вопрос в LLM’ку, а та запостила ответ. Следуя инструкции, разраб раскрыл внутренние данные сотрудникам без доступа. Детали довольно скупые, но судя по описанию, запрос был по конфигу. ИИ-агент запостил ответ без спросу, в нём содержалась неверная инструкция. Разраб ей последовал, неправильно всё настроил, и огромный массив внутренних и пользовательских данных оказались в свободном доступе для сотрудников, у которых прав на них нет. Компания обозначила инцидент как Sev 1, второй по серьёзности в их градации. До максимума чуток не дотянули — надо было LLM'ке слить данные за пределы внутренней сети. Но это всё, как водится, небольшая плата за нарождающийся в муках дивный новый ИИ-мир. Остаётся лишь надеяться, что LLM'ки будут умнеть быстрее, чем тупеют их пользователи, иначе выйдет неловко. @tomhunter

#news У экстремистов из Meta случился конфуз с ИИ-агентом в системах. Один инженер спросил совета на внутреннем форуме, второй закинул вопрос в LLM’ку, а та запостила ответ. Следуя инструкции, разраб раскрыл внутренние данные сотрудникам без доступа.

Детали довольно скупые, но судя по описанию, запрос был по конфигу. ИИ-агент запостил ответ без спросу, в нём содержалась неверная инструкция. Разраб ей последовал, неправильно всё настроил, и огромный массив внутренних и пользовательских данных оказались в свободном доступе для сотрудников, у которых прав на них нет. Компания обозначила инцидент как Sev 1, второй по серьёзности в их градации. До максимума чуток не дотянули — надо было LLM'ке слить данные за пределы внутренней сети. Но это всё, как водится, небольшая плата за нарождающийся в муках дивный новый ИИ-мир. Остаётся лишь надеяться, что LLM'ки будут умнеть быстрее, чем тупеют их пользователи, иначе выйдет неловко.

@tomhunter