Современные системы искусственного интеллекта демонстрируют экспоненциальный рост возможностей. Исследование, опубликованное на arXiv, показало: ИИ удваивает сложность решаемых задач каждые 7 месяцев. Это меняет представление о границах автоматизации и ставит новые вопросы перед обществом. Как измеряют прогресс ИИ Ученые из организации METR предложили новый метод оценки возможностей ИИ — измерение времени, которое система тратит на выполнение задач по сравнению с человеком. В эксперименте участвовали модели GPT-4, Claude 3 Opus и более ранние версии. Тестирование включало: Результаты поразили: ИИ справляется с задачами, которые занимают у человека до 4 минут, с точностью 98%. Но для проектов, требующих более 4 часов, успешность падает до 10%. Однако прогресс очевиден — за 6 лет способность ИИ выполнять длинные задачи с 50% надежностью удваивалась каждые 7 месяцев. "Измерение длины задач, которые модели могут выполнять, — это ключ к пониманию возможностей ИИ. Они чаще испытывают труднос