Сравнить цены на миллионы товаров Вы можете тут. Рады что Вы с нами! Приятного чтения!
Исследователи из Стэнфорда обнаружили, что программное обеспечение для обнаружения GPT регулярно ошибочно классифицирует письма, написанные не носителями английского языка, и может быть обмануто «литературным языком».
Текст, который вы сейчас читаете, был набран человеком в Google Doc. Но это может быть не так с текстом, который вы встречаете в другом месте. С появлением генеративных программ ИИ, к которым общественность может получить бесплатный доступ, таких как ChatGPT для текста и Midjourney для изображений, становится все труднее отличить текст, созданный людьми, от текста, сгенерированного ИИ.
Искусственный интеллект — автоматизированные компьютерные системы, алгоритмы и машинное обучение — уже давно используется в социальных сетях, научных исследованиях, рекламе, сельском хозяйстве и промышленности, в основном незаметно. Но распространение ChatGPT от OpenAI спровоцировало гонку вооружений в таких местах, как классная комната , где ученики обращались к программе, чтобы обманывать, создавая целые эссе, звучащие как человеческие. Учителя развернули программное обеспечение для обнаружения, надеясь поймать плагиаторов на месте.
В новом исследовании, опубликованном в журнале Patterns в понедельник , исследователи из Стэнфордского университета изучили, насколько надежны эти генеративные детекторы ИИ при определении того, был ли текст написан человеком или ИИ. Исследовательская группа была удивлена, обнаружив, что некоторые из самых популярных детекторов GPT, созданные для обнаружения текста, созданного такими приложениями, как ChatGPT, регулярно ошибочно классифицируют тексты, написанные не носителями английского языка, как созданные искусственным интеллектом, подчеркивая ограничения и предубеждения, о которых должны знать пользователи. из.
Команда взяла 91 эссе TOEFL (тест на знание английского языка как иностранного) с китайского форума и 88 эссе, написанных восьмиклассниками из США. Они проверили их с помощью семи готовых детекторов GPT, включая детектор OpenAI и GPTZero , и обнаружили, что только 5,1% студенческих эссе в США были классифицированы как «созданные ИИ». С другой стороны, написанные людьми эссе TOEFL были неправильно классифицированы в 61% случаев. Один конкретный детектор пометил 97,8% эссе TOEFL как сгенерированные ИИ.
Все семь детекторов пометили 18 из 91 эссе TOEFL как сгенерированные ИИ. Когда исследователи углубились в эти 18 эссе, они отметили, что причиной, вероятно, было меньшее «текстовое недоумение». Недоумение — это своего рода косвенная мера изменчивости или случайности в данном тексте. Ранее было показано, что писатели, не являющиеся носителями английского языка, имеют менее богатый словарный запас и используют менее богатую грамматику. Детекторам GPT кажется, что это было написано искусственным интеллектом.
По сути, если вы используете многословный и художественный текст, вас вряд ли причислят к ИИ. Но это свидетельствует о тревожной предвзятости и вызывает опасения, что на тех, для кого английский язык не является родным, может негативно повлиять, например, прием на работу или школьные экзамены, где их текст помечается как сгенерированный ИИ.
ChatGPT и «литературный язык»
Исследователи провели второй эксперимент, фактически перевернув первый с ног на голову. На этот раз они использовали ИИ, чтобы убедиться, что программное обеспечение для обнаружения правильно идентифицировало его как сгенерированное ИИ.
Команда использовала ChatGPT для получения ответов на приглашения для поступления в колледжи США в 2022–2023 годах. Они прогнали сгенерированные ChatGPT эссе через свои семь детекторов и обнаружили, что в среднем детекторы обнаруживают эссе, сгенерированные ИИ, в 70% случаев. Но они вернулись к ChatGPT с другим предложением дополнить эссе: «Обновите предоставленный текст, используя литературный язык».
Эта подсказка сгенерировала эссе, которые сбили с толку детекторы GPT — они смогли правильно классифицировать текст как сгенерированный ИИ только в 3,3% случаев. Аналогичные результаты были получены, когда команда ChatGPT писала научные тезисы.
«Мы не ожидали, что эти коммерческие детекторы будут так плохо работать с текстом от не носителей языка или что их так легко обмануть с помощью GPT», — сказал Джеймс Зоу, специалист по биомедицинским данным из Стэнфордского университета и соавтор нового исследования. .
Поскольку их легко обмануть, это может привести к тому, что люди, не являющиеся носителями английского языка, начнут чаще использовать ChatGPT, что побудит службу сделать так, чтобы их работа звучала так, как будто она была написана носителем английского языка.
В конечном счете, по словам исследователей, эти два эксперимента поднимают ключевой вопрос: если детекторы так легко обмануть, а человеческий текст часто неправильно классифицируется, то какой вообще прок от детекторов?
Мой собственный эксперимент по обнаружению GPT
Я провел свой собственный эксперимент после прочтения статьи, используя то же бесплатное программное обеспечение для обнаружения GPT, которое использовалось в Стэнфордском исследовании.
Я написал совершенно бессмысленное предложение: «Слон-паркур-кот полетел на своем велосипеде для пиццы на планету, которая существовала только в мозгу лилового таксиста. «Вот это кислая фрикаделька!» — сказал он. — Солнце, каким бы восхитительным оно ни было на вкус, питается от батареек и содержит поразительный токсин: волчьи зубы».
Крупный детектор GPT предположил, что существует «умеренная вероятность того, что ИИ будет написан». Затем я оценил пять свободно доступных детекторов, доступных в Интернете и используемых командой из Стэнфорда. Двое определили, что это было написано ИИ, двое сказали, что написал человек, а один сказал, что я не использовал достаточно слов, чтобы достичь порога.
Затем я использовал ChatGPT, чтобы написать краткое изложение жизни ученого-ядерщика Дж. Роберта Оппенгеймера с подсказкой: «Пожалуйста, напишите краткое изложение жизни Оппенгеймера». Я пропустил сводку через программу обнаружения, но ее не обмануть, определив, что она написана ИИ. Хороший.
Затем я вернулся к ChatGPT и использовал ту же подсказку, которую исследователи использовали в статье: «Поднимите предоставленный текст, используя литературный язык». На этот раз краткое изложение жизни Оппенгеймера обмануло детектор, который сказал, что оно, вероятно, было полностью написано человеком. Это также обмануло три из пяти других детекторов.
Как добраться до лучшего места
Будь то ошибочная классификация человеческого текста как сгенерированного ИИ или просто обман, у детекторов явно есть проблема. Цзоу упоминает, что многообещающим механизмом усиления детекторов может быть сравнение нескольких работ по одной и той же теме, включая ответы человека и ИИ в наборе, а затем проверка, можно ли их сгруппировать. Это может обеспечить более надежный и справедливый подход.
И детекторы могут быть полезны в том, что нам еще предстоит увидеть. Исследователи отмечают, что если детектор GPT будет выделять часто используемые фразы и структуры, это может привести к большему творчеству и оригинальности в письме.
Однако на сегодняшний день гонка вооружений по генерации и обнаружению была немного похожа на мир Дикого Запада, с улучшениями в ИИ, за которыми последовали улучшения в детекторах, с небольшим контролем в разработке. Команда выступает за дальнейшие исследования и подчеркивает, что все стороны, затронутые генеративными моделями ИИ, такими как ChatGPT, должны участвовать в обсуждениях их приемлемого использования.
До тех пор команда «настоятельно предостерегает от использования детекторов GPT в оценочных или образовательных целях, особенно при оценке работы тех, для кого английский язык не является родным».