Популярность больших языковых моделей, таких как ChatGPT от OpenAI, Bard от Google и LLaMa от Meta вызвала всплеск мошеннических действий.
Популярность больших языковых моделей (LLM), таких как ChatGPT от OpenAI, Bard от Google и LLaMa от Meta вызвала всплеск мошеннических действий. Пользователи бросились писать рефераты, курсовые, научные работы и книги при помощи нейросетей. Такая активность побудила ученых искать способы обнаружения текстов, сгенерированных машинами.
Пять ученых из Университета Мэриленда в США – Вина Санкар Садасиван, Аунон Кумар, Шрирам Баласубраманян, Вэньсяо Ван и Сохэйл Фейзи изучили возможность обнаружения текста, сгенерированного большими языковыми моделями.
Их выводы оказались неутешительными. Эффективность существующих программ-детекторов примерно сопоставима с игрой в «орел и решку». Оказывается, текст от нейросети можно прогнать через программу замены слов, и этого будет достаточно, чтобы избежать обнаружения. Это может снизить точность детектора с базового уровня в 97% до 57%-80%.
– Перефразирование сгенерированного текста при помощи программы может нарушить работу целого ряда детекторов, включая те, которые используют схемы водяных знаков, а также работающие на основе нейронных сетей и классификаторы нулевого выстрела, – объясняют исследователи в своей статье.
Эксперты утверждают, что нерегулируемое использование этих моделей, которые в настоящее время интегрируются в широко используемые приложения крупных технологических компаний, может привести к нежелательным последствиям, таким как сложный спам, манипулятивные поддельные новости, неточные резюме документов и плагиат.
– Я думаю, нам нужно научиться жить с тем фактом, что мы никогда не сможем достоверно сказать, написан ли текст человеком или ИИ. Вместо этого, потенциально мы можем проверить источник текста с помощью другой информации. Например, многие социальные платформы начинают широко проверять учетные записи. Это может затруднить распространение дезинформации, генерируемой нейросетями, – резюмируют исследователи.