Крупные языковые модели (LLM) не способны по-настоящему понимать каламбуры и юмор, а лишь имитируют их распознавание, выяснили учёные из Великобритании и Италии. К такому выводу исследователи пришли, последовательно обманывая модели изменёнными шутками, сообщает The Guardian.
В ходе экспериментов модели стабильно воспринимали за каламбуры фразы, из которых был убран двойной смысл. Например, после замены в предложении «…моя жизнь превратилась в шутку» второй части на «…моя жизнь стала хаотичной», ИИ всё равно классифицировал его как игру слов.
«В целом, LLM склонны запоминать то, что они изучили в процессе обучения. Они хорошо распознают существующие каламбуры, но это не означает, что они действительно понимают их», — пояснил профессор Хосе Камачо Кольядос из Университета Кардиффа.
Исследователи отметили, что при столкновении с незнакомой игрой слов способность моделей отличать её от обычного предложения может падать до 20%. В другом тесте фразу «…они просто теряют внимание» изменили на «…они просто теряют укулеле». Модель всё равно сочла это каламбуром, придумав объяснение через созвучие «you-kill-LLM», что, по мнению учёных, является не пониманием, а проявлением креативности на основе статистики.
Проблема обучения искусственного интеллекта тонкостям человеческого общения, от юмора до эмоций, остаётся ключевой для разработчиков. Ранее «Жуковский.Life» сообщал, что учёные из «Сколтеха» и Института высшей нервной деятельности и нейрофизиологии РАН обнаружили акустические признаки человеческих эмоций — смеха, плача и испуга. Они выявили специфические параметры звуков, такие как «частота страха» в диапазоне 1–2 кГц, и использовали их для изменения нейтрального кошачьего мяуканья.