24 сентября в профиле OpenAI на сайте HuggingFace появился новый открытый датасет. Изначально релиз привлёк широкое внимание пользователей, поскольку аудитория ожидала контент на уровне исходного кода GPT-4o. В действительности разработчики OpenAI сделали не такой громкий, но не менее интересный выпуск датасета MMMLU (Multilingual Massive Multitask Language Understanding). В этом материале CyberMeta расскажет, чем будет полезен новый релиз от OpenAI, какой анонс этому последовал и что о будущем нейросетей думает сам основатель компании. MMMLU (Multilingual Massive Multitask Language Understanding) – это популярный языковой тест для оценки способностей нейронных сетей, который включает около 16 тысяч вопросов с множественным выбором по 57 академическим предметам (таким как математика, философия, юриспруденция и медицина). Изначальная версия MMLU была переведена на 14 языков с помощью профессиональных переводчиков. OpenAI представила MMMLU не только как мощный инструмент для оценки нейро
OpenAI опубликовала открытую версию MMLU: как это поможет разработчикам со всего мира?
24 сентября 202424 сен 2024
5
2 мин