📊 Тест: мобильная Gemma 3 не хуже GPT-4 в резюмировании

Сравнение малых языковых моделей с большими в резюмировании

Показывал в видео Qwen3-30B-A3B и ссылался на исследование. Стало интересно, как новые модели пишут резюме на русском.

Без научных выкрутасов, на коленке:

• Взял 1000 новостей с готовыми резюме (датасет Газета.ру от Ильи Гусева)
• Прогнал через разные модели и сравнил, насколько резюме от моделей похоже на человеческие (метрики Rouge-L и BERTScore, если коротко - “похожесть по смыслу и словам”)

Разницы между гигантскими моделями типа GPT-4 и маленькой Gemma 3 (которую можно запускать хоть на телефоне) почти нет! Все показывают практически одинаковый результат — отличия где-то во второй цифре после запятой, на которую бы не смотрел из-за наколенночности теста.

Больше деталей смотрите в видео 👇