2794 подписчика
Представлен MLE-bench - бенчмарк для оценки способностей ИИ-агентов в области машинного обучения
OpenAI представили MLE-bench - новый бенчмарк для измерения навыков ИИ-агентов в области машинного обучения. Бенчмарк включает 75 соревнований с Kaggle, которые проверяют реальные навыки инженерии машинного обучения, такие как обучение моделей, подготовка данных и проведение экспериментов.
Согласно исследованию, лучшая конфигурация ИИ-агента (OpenAI o1-preview с AIDE) достигает уровня бронзовой медали Kaggle в 16,9% соревнований. Бенчмарк открыт для дальнейших исследований в области возможностей ИИ в инженерии машинного обучения.
Гайд по оплате Нейросетей
Около минуты
11 октября 2024