Группа американских ученых в рамках очередной сессии Европейском отделении Ассоциации вычислительной лингвистики предложили единый алгоритм оценки текстов, сгенерированных искусственным интеллектом. Новинка получила название LongEval, и эти принципы позволят людям качественно и быстро оценивать качество контента, созданного ИИ.
По словам команды исследователей, сейчас у людей нет каких-либо категорий или принципов, которые позволят оценить качество сгенерированного нейросетью текста. Соответственно, после завершения процесса компаниям и частным лицам необходимо привлекать человека-редактора, а это сильно удорожает процесс и делает его, по сути, не рациональным. Что касается LongEval, то в этом наборе принципов создателями учтены ряд параметров, которые помогут определить, насколько качественный текст мы получили, и для этого не потребуется привлекать профессионала.
В основе LongEval лежат несколько главных критериев, к которым авторы пришли после анализа сотен научных работ по теме работы ИИ:
- Текст должен быть составлен с задействованием информации из авторитетных источников;
- Оценка текста выполняется по отдельно-взятым фрагментам, а не по всему представленному объему;
- Для каждого отдельного текста данные фрагменты выбираются свои.
На текущий момент первоначальный вариант LongEval представлен в библиотеке Pyton, где к ней может получить доступ любой желающий (https://github.com/martiansideofthemoon/longeval-summarization). Разработчики предлагают пользователям принять участие в совершенствовании их алгоритмов, которые в будущем позволят быстро и качественно анализировать сотни и тысячи сгенерированных ИИ текстовых строк.