Проблема использования текстовых генераторов на основе искусственного интеллекта затрагивает многих. Вы не ослышались — именно проблема!
Научные издания получают псевдонаучные исследования, новостные порталы — репортажи, о том, что никогда не происходило, и многостраничные статьи не содержащие никакой информации. Вероятно, единственные, кто получает выгоду от новых технологий, это развлекательные порталы: автоматически сгенерированные «жизненные» истории всегда пользуются популярностью у посетителей. Общая ситуация такова, что на рынке просто обязан появиться продукт, позволяющий определять кем написан материал — человеком или ИИ.
Ученые Канзасского университета разработали новый инструмент с использованием технологий машинного обучения, который может определить, когда статьи по химии написаны с использованием чат-бота ChatGPT. Классификатор, который превзошел два существующих детектора искусственного интеллекта, может помочь академическим издателям идентифицировать статьи, созданные с помощью текстовых генераторов.
Результаты показывают, что усилия по разработке детекторов искусственного интеллекта могут быть активизированы за счет адаптации программного обеспечения к конкретным типам письма. И вполне возможно, что для каждой области, использующей текстовые генераторы будет необходимо создавать свой собственный инструмент.
Например, специализированные статьи на тему астрофизики отличаются по лексикону, строению предложений, содержанию, и общей стилистике текста от, скажем, книги кулинарных рецептов. И несмотря на то, что одна и та же версия генеративного интеллекта может создать и псевдонаучную статью, и сборник рецептов — для точного распознавания авторства ИИ, может потребоваться два совершенно разных программных решения.
Возвращаясь к распознаванию научных статей по химии: используя машинное обучение, детектор исследует 20 особенностей стиля письма, включая вариации длины предложений, а также частоту употребления определенных слов и знаков препинания, чтобы определить, написал ли фрагмент текста академический ученый или ChatGPT.
При тестировании на анонсах, написанных людьми или созданных искусственным интеллектом из одних и тех же журналов, инструмент идентифицировал разделы, написанные ChatGPT-3.5, на основе названий со 100% точностью. Для статей, созданных ChatGPT на основе тезисов, точность была немного ниже — 98%. Инструмент так же хорошо работал с текстом, написанным ChatGPT-4, последней версией чат-бота.
Инструмент обнаружения статей от ChatGPT хорошо справляется со статьями, полученными из любых источников и распознает использование ИИ. Однако система узкоспециализирована, и применима только для распознавания научных статей по химии в академических изданиях. Когда ей предложили материалы написанные журналистами, она не смогла определить их авторство.
Выходит, что место универсального распознавателя текстов от генеративного интеллекта, еще не занято. Кто же будет создателем коммерческого анти-ChatGPT?