1 месяц назад
Blender-VideoBench: бенчмарк ловит ИИ-агентов на непонимании видео
Исследователи предложили новый способ проверять, насколько ИИ-агенты по-настоящему понимают видео, а не просто отвечают на вопросы о нём. Бенчмарк называется BVB, Blender-VideoBench: агенту дают реальное видео и просят программно воссоздать его как анимированную 3D-сцену в редакторе Blender, если агент действительно понял, что происходит в ролике (какие объекты, как они движутся, где расположены в пространстве и времени), он сможет закодировать это в сцену. Чтобы сравнение агентов было честным, все...