Как редактор бюро переводов Фларус я часто сталкиваюсь с претензиями клиентов, для которых наше агентство выполняет переводы, редактуру или копирайтинг статей. Претензии заключаются в том, что детекторы ИИ-текста показывают какой-то (20-30-60%) процент текста, созданного ИИ, а не человеком. Это натолкнуло меня на мысль, провести эксперимент. Не как редактор, а как частный человек и спортсмен.
Одно из моих увлечений связано со спортивной греблей и я веду блог об этом. Совершенно естественно, без применения ИИ. В личном опыте он является только помехой. Я взял для теста два текста, которые на 100% написаны мной.
Текст о тренировках по адресу https://brewerykayaker.ru/?post=58
и обзор гоночной лодки по адресу https://brewerykayaker.ru/?post=76.
В результате "прогона" текстов через сервисы-детекторы ИИ-контента, в частности, Surfer, который показал на тестах относительно высокую точность: всего 4% ложноположительных срабатываний для текстов, написанных людьми, я получил в обоих случаях около 40% созданного ИИ текста. Другими словами, ошибка детекции составила 40%. И как мы могли бы объяснить это заказчику, если бы писали тексты для него? "Извините, но детектор ошибся. Вот я, живой человек, клянусь"? Это звучит непрофессионально. Мы живем в эпоху, где доверие к инструментам анализа превышает доверие к эксперту.
Почему детекторы ошибаются?
Детекторы ищут паттерны, низкую "перплексию" (сложность текста), определенную структуру. Четкий, логичный, хорошо отредактированный текст с ясными предложениями может быть ошибочно принят за машинный.
Алгоритм не знает, что такое "проводка весла в воде" или "распереться в каяке коленями". Он видит лишь последовательность слов. Узкоспециализированный структурированный текст — гарантия ложной диагностики.
Если наш заказчик сам использует ИИ для написания текста или в качестве соавтора для черновика или идей, а мы потом перерабатываем текст (корректура и редактура), это не "спасет" текст от детектора, который может "увидеть" исходный каркас. Или не увидеть — все зависит от алгоритма.
Как работать редактору?
Не ждите претензий, а предвосхитите их. Обсудите вопрос ИИ-детекции на старте проекта. Спросите: "Для вас важен показатель "чистоты" текста по детекторам? Мы гарантируем авторскую работу, но технические инструменты иногда дают сбой. Как нам действовать в таком случае?". Это сразу отделит адекватных клиентов от тех, кто хочет лишь "зеленую галочку" в сервисе