Mercor сопоставила 29 наборов испытаний искусственного интеллекта с американскими профессиями и обнаружила: только у 208 из 923 нашлась хотя бы одна рабочая задача с достаточным числом проверочных примеров. По оценке команды, около 90% рабочего времени американцев приходится на задачи, которые выбранные тесты охватывают слабо или вовсе обходят. Такие наборы испытаний называют бенчмарками: модель получает задания, а её результаты оценивают по определённым правилам. Они помогают сравнивать системы, но карта Mercor показывает проблему самого измерительного инструмента...