Как-то не особо удобно жонглировать тремя баллами - 3, 4 и 5. Какие-то минусы и плюсы приходится выдумывать. Было бы хотя бы 5 баллов - от кола до пятерки, было бы удобнее. Совершенно не удивлюсь, если вдруг однажды отменят двойку, как нечто рудиментное: - Зачем нам двойки, если у нас образование одно из лучших в мире? (про достижения недавно рассказывал министр) - Двойками можно искалечить жизнь ребенка. - Двойка порождает комплексы. - Двойка это значит, что услуга не оказана в полном объеме. Короче, выбирайте любую причину...

Авторы (источник не называет ни имён, ни организации) представили MetroLLM-Bench, бенчмарк из 955 тестовых случаев, который проверяет языковые модели в роли системы, принимающей решения за билетный киоск метро. В основу легли шесть реальных систем метро, от 37 до 414 станций, и одиннадцать категорий задач: маршрутизация, расчёт тарифа, реакция на сбои в расписании, доступность, состязательные (намеренно провокационные) запросы и другие. В каждом случае модель обязана вызывать заданные инструменты...