1241 подписчик
Microsoft представляет Windows Agent Arena для тестирования генеративных агентов искусственного интеллекта
🔸 Microsoft Research разработала тестовый тест Windows Agent Arena для тестирования искусственного интеллекта на ПК с Windows.
🔸 Тест предназначен для проверки взаимодействия агентов ИИ с приложениями Windows, такими как веб-браузеры, настройки проводника файлов, программирование и просмотр видео.
🔸 Microsoft адаптирует платформу OSWorld для создания 150 разнообразных задач Windows, требующих планирования, понимания экрана и использования инструментов.
🔸 Бенчмарк масштабируем и может быть распараллелен в Azure для оценки за 20 минут.
🔸 Microsoft создала мультимодальный агент Navi для тестирования в Windows Agent Arena benchmark.
🔸 Средний показатель успешности работы Navi составил 19,5%, что меньше, чем у человека (74,5%).
🔸 Windows Agent Arena может стать огромным шагом вперед в создании агентов ИИ, приближая их к уровню производительности человека.
Около минуты
14 сентября 2024