90 подписчиков

🚀 Удивительные достижения в мире искусственного интеллекта! OpenAI разработала инструмент для оценки производительности AI-агентов в машинном обучении. Этот инструмент, получивший название MLE-bench, теперь доступен на сервере arXiv в формате открытого исходного кода.

🔬 В MLE-bench входит 75 тестов, основанных на реальных задачах с платформы Kaggle, таких как дешифровка древних свитков или разработка новой мРНК-вакцины. Эти тесты оценивают способность AI-систем выполнять инженерные задачи автономно и даже заниматься инновациями.

🌟 После прохождения тестов результаты анализируются, чтобы определить, насколько хорошо задачи были решены и могут ли эти результаты быть использованы в реальных сценариях. Это обеспечивает получение оценки, которая помогает ускорить развитие новых открытий и найти новые решения старых проблем, снижая при этом затраты на инженерные работы.

🤖 Этот инструмент открывает возможность для создания решений, которые позволят избежать устаревания AI-систем или возникновения вопросов безопасности в будущем. Инструмент предназначен для измерения прогресса AI-исследований и улучшения производительности AI-систем путем обучения на собственных результатах, включая результаты на MLE-bench.

#neuroco #нейроконтент #машинноеобучение #языковыемодели #нейросеть #нейронка #ArtificialIntelligence

1 минута

17 октября 2024