В больших языковых моделях выявили уязвимость, связанную с синтаксисом
Ученые из Массачусетского технологического института выяснили, что большие языковые модели иногда усваивают неправильные ассоциации. Вместо того чтобы отвечать на вопросы, опираясь на реальные знания, модели могут полагаться на знакомые грамматические и синтаксические шаблоны. Например, если модель усвоила, что вопрос «Где находится Париж?» обычно связан с географией, она может ответить «Франция» на фразу, которая построена так же, но не имеет никакого смысла. Такое поведение приводит к ошибкам и снижает надежность ИИ.
