Найти в Дзене

Qwen2.5 от Alibaba решает математику за счет запоминания данных

Qwen2.5 от Alibaba решает математику за счет запоминания данных Новое исследование показало, что модели Alibaba Qwen2.5 показывают высокие результаты по математике в основном за счет запоминания данных из обучающей выборки, а не настоящих рассуждений. Исследователи выяснили, что кажущееся улучшение математических способностей Qwen2.5 во многом объясняется так называемым “загрязнением данных”. При тестировании на “чистых” бенчмарках, которые не использовались во время обучения, производительность Qwen2.5 резко упала. В эксперименте модель получила… Подробнее

Qwen2.5 от Alibaba решает математику за счет запоминания данных

Новое исследование показало, что модели Alibaba Qwen2.5 показывают высокие результаты по математике в основном за счет запоминания данных из обучающей выборки, а не настоящих рассуждений.

Исследователи выяснили, что кажущееся улучшение математических способностей Qwen2.5 во многом объясняется так называемым “загрязнением данных”. При тестировании на “чистых” бенчмарках, которые не использовались во время обучения, производительность Qwen2.5 резко упала.

В эксперименте модель получила…

Подробнее