Группа исследователей из Университета Карнеги-Меллон (США) попыталась выяснить, насколько точно большие языковые модели (LLM) могут подражать стилю текстов, написанных людьми. Результаты опубликованы в Proceedings of the National Academy of Sciences.
LLM давали задания из разных жанров, таких как телевизионные сценарии или академические статьи. Используя специальную программу, ученые обнаружили значительные различия в грамматических, лексических и стилистических характеристиках текстов, написанных LLM и людьми.
Эти различия были особенно выражены для моделей, нацеленных на инструкции, таких как ChatGPT, которые проходят дополнительное обучение для ответа на вопросы и выполнения инструкций.
Согласно исследованиям, LLM использовали причастные и деепричастные обороты в 2-5 раз чаще, чем это делали люди. (Например, GPT-4o: «Брайан, полагаясь на свою ловкость, танцует вокруг ринга, избегая тяжелых ударов Шоу»). Они также использовали номинализации (переход части речи в существительные) в 1,5-2 раза чаще, чем это делали люди. Также GPT-4o использует пассивную форму вдвое реже, чем люди. Это говорит о том, что LLM обучены писать в информационно насыщенном, перегруженном существительными стиле, что ограничивает их способность имитировать другие стили письма.
Исследователи также обнаружили, что LLM, обученные инструкциям, используют некоторые слова гораздо чаще, чем люди, пишущие в том же жанре. Например, варианты ChatGPT использовали «дружеские отношения» и «ткань» примерно в 150 раз чаще, чем люди, а варианты Llama «тревога» в 60-100 раз чаще. Обе модели проявляли сильное предпочтение к словам «ощутимый» и «сложный».
«Сообщение, которое мы действительно хотели донести, заключалось в том, чтобы очень осторожно подумать, в каких случаях использование LLM может быть оправдано. Мне важно, чтобы заметки моего врача были точными. Мне не настолько важно, если они написаны в стиле моего врача. Но если я пишу письмо для устройства на работу, где хочу выделиться, это имеет очень большое значение. Как инструкторы, писатели и коммуникаторы, мы должны быть осведомлены о специфике и недостатках LLM», — сказал руководитель исследования Дэвид Уэст Браун.«Некоторые люди говорят, что появление нейросетей напоминает появление калькуляторов на уроках математики. Но мы узнали, что это не совсем то же самое. Вы используете калькулятор, он делает ту же математику, что и вы собирались делать, но он не делает ошибки и не забывает учесть число. А здесь, вы получаете что-то отличное от того, что написал бы обычный человек», — говорит первый автор исследования Алекс Рейнхарт.
Найден признак, выдающий, что текст написан нейросетью
Как ChatGPT за два года изменил науку: мнение ученых и немного цифр