Проверка охватывает сотни рабочих сценариев и показывает, где автоматизация справляется с задачами без помощи сотрудника, а где возникают сбои «Сбер» представил Cowork Bench — открытый русскоязычный бенчмарк, который проверяет, насколько хорошо ИИ-агенты справляются с офисной работой. При этом оцениваются не ответы модели, а сам факт, может ли агент довести задачу до конца без участия сотрудника. Например, как ИИ обработает заявку, подготовит отчёт или сделает расчёт. Бенчмарк включает 475 задач, 12 бизнес-функций и 26 корпоративных систем...

Разработчики Сбера представили Cowork Bench — открытый бенчмарк для оценки способности ИИ-ассистентов самостоятельно выполнять офисные задачи. Тестирование охватывает 475 сквозных сценариев в электронных таблицах, электронной почте и корпоративных системах. По данным разработчиков, эффективность автоматизации в большей степени зависит от программного обеспечения, которое управляет контекстом, чем от используемой языковой модели...