Учёные из Университета Ровиры и Вирхилия и Барселонского университета в Испании провели исследование с участием людей и «продвинутых» моделей ИИ, основанных на больших языковых моделях, которые считаются лучшими, включая GPT.
Люди и модели ИИ должны были найти ошибки в текстовых предложениях: нужно было определить, какие предложения грамматически верны, а какие — с ошибками. Люди справились с заданием практически сразу и без труда, а почти все ответы ИИ были ошибочными.
Учёные пришли к выводу, что модели ИИ, в том числе так популярный сейчас ChatGPT, распознают и понимают человеческую письменную речь иначе, чем люди. Технологии не могут справится с элементарными заданиями, даже если в них загружены грамматические правила.