Международная команда исследователей выяснила, как ИИ видит игру слов
Международная исследовательская группа при активной поддержке специалистов факультета компьютерных наук Высшей школы экономики разработала корпус данных KoWit-24, включающий 2700 заголовков российских СМИ с каламбурами.Pro Город Самара
Результаты работы были представлены на конференции RANLP, cтатья доступна в репозитории Arxiv.org, датасет и код для воспроизведения экспериментов — в GitHub.Naked Science
После разметки авторы проверили корпус на пяти больших языковых моделях: GPT-4o, YandexGPT4, GigaChat Lite, GigaChat Max и Mistral NeMo.Naked Science
Трем моделям из пяти более подробные инструкции помогали в распознавании игры слов, а лучшую точность показала GPT-4o.Naked Science