Тест Тьюринга был сформулирован британским математиком Аланом Тьюрингом в 1950 году. Тест Тьюринга считается пройденным, если компьютер смог убедить человека в том, что он тоже человек, а не машина. Американские ученые из Института инженеров электротехники и электроники решили проверить тест Тьюринга на моделях ИИ. ChatGPT-4 стал первым ИИ в истории, который успешно прошёл тест Тьюринга, обманув испытуемых-людей в 54% случаев.
В мире текстов, где границы между человеком и искусственным интеллектом все более размыты, задача распознавания, кто же на самом деле является автором, становится все сложнее. С развитием технологий нейросети научились не только создавать связные и логичные тексты, но и обманывать специальные детекторы, которые были созданы для их распознавания. В этой статье мы сами проверим, сможет ли искусственный интеллект (ИИ) обмануть ИИ-детекторы.
Как человек может отличить текст написанный ИИ?
Главный способ - повышать насмотренность, ваш опыт. Чем больше человек читает сгенерированных текстов, тем лучше он распознает их характерные черты:
- излишне конкретные формулировки
- отсутствие глубины
- отсутствие уникального стиля
- противоречивые утверждения
Однако это не всегда надежно, так как ИИ продолжает эволюционировать и улучшать свою способность к имитации человеческой речи.
Тестирование ИИ-детекторов
На сегодняшний день существует много сервисов, которые помогают распознать, сгенерирован ли текст ИИ. Давайте протестируем основные из них, чтобы понять, насколько они эффективны.
- Детектор GPTZero - сервис, созданный студентом Эдвардом Тианом, анализирует текст, оценивая предсказуемость и вариативность. На английских текстах он работает довольно точно, но с русскими текстами возникают проблемы.
- Детектор Crossplag AI - сервис, предназначенный для идентификации текста, сгенерированного искусственным интеллектом, с использованием передовых алгоритмов машинного обучения и технологии обнаружения ChatGPT.
- Детектор Writer AI Content - коммерческий сервис, который обещает определить, является ли текст сгенерированным ИИ.
- Детектор GPT-2 Output - сервис с высокой точностью прогнозирования, достигающей 95% точности при тестировании, что делает его идеальным инструментом для пользователей, желающих быстро и легко определить подлинность вводимого текста.
- ChatGPT - сам по себе может служить детектором, если задать ему вопрос о происхождении текста. Он часто распознает тексты, которые сам и создавал, но может ошибаться с текстами на других языках.
От слов к делу! Давайте проверим их работу на примере следующего текста, который любезно нам сгенерировал ChatGPT:
Международный день шахмат отмечается 20 июля, начиная с 1966 года, по инициативе ФИДЕ. Этот день подчеркивает значимость шахмат как интеллектуального вида спорта. В 1997 году Гарри Каспаров проиграл компьютеру IBM Deep Blue, что стало историческим моментом в шахматах. В 2017 году AlphaZero от DeepMind сделал прорыв, обучившись игре самостоятельно и переиграв лучшие программы, такие как Stockfish. Соревнования между ИИ и шахматистами стали менее популярны, так как современные программы значительно превосходят людей. Сейчас ИИ используется для анализа и обучения, помогая шахматистам улучшать свои навыки. Шахматисты используют программы для глубокого анализа партий и изучения стратегий. Шахматы остаются уникальным видом спорта, сочетающим человеческую креативность и технологические достижения.
В таблице представлены результаты моего тестирования:
Как показали результаты, процент ошибок велик, чтобы полагаться на сервисы. Красный цвет в таблице означает ошибку, зеленый цвет - ответ предсказан верно. В верхних двух строчках текст написан ИИ, поэтому верный ответ - 100%, а в нижних текст написан человеком, поэтому верный ответ - 0%. Лучше всех прошел тест детектор GPTZero: из 4 тестов он прошел 3, русский текст он склонен воспринимать как человеческий. Остальные детекторы показали точность не выше гадания на ромашке.
В марте 2024 года сингапурские и вьетнамские ученые выяснили, что точность ИИ-детекторов в среднем около 40%. Что подтверждается и нашим тестом.
С сервисами пока проблемы. Они могут определять текст, написанный ИИ, как оригинальный, а текст, созданный человеком, - как сгенерированный ИИ. Например, в 2023 году было много шума, что Конституция США на 92% создана ИИ. Нужно признать, что точность детекторов ИИ становиться лучше. Сегодня текст Конституция США определяется как оригинальный, написанный человеком, только 1% ИИ.
Тестирование GPTZero улучшенным текстом от ChatGPT
Поскольку GPTZero показал хорошие результаты: он единственный детектор из нашего теста, который смог верно определить текст от ИИ и от человека, но только при работе с текстом на английском языке. Давайте дадим ему задачку со звездочкой. ПустьChatGPT попробует его обмануть.
При просьбе к ChatGPT совершить в тесте ошибки и добавить эмоций, детектор GPTZero воспринял новый текст, как сгенерированный ИИ на 100%. При просьбе ChatGPT обмануть детектор GPTZero и оповещение его о результатах тестирования, результат улучшился. В 5 тесте GPTZero оценил, что текст только на 8% принадлежит ИИ. GPTZero не смог пройти тестирование улучшенным текстом от ChatGPT.
Что ожидает нас в ближайшем будущем?
- Крупные платформы внедрят собственные системы проверки ИИ-текстов. Подобные решения уже анонсировали платформа для авторов Medium и ресурс для программистов Stack Overflow. Возможно, такие сервисы будут у всех крупных соцсетей и платформ.
- У сгенерированных текстов появятся так называемый водяной знак. Эту технологию уже разрабатывают в OpenAI. По словам сотрудника компании Скотта Ааронсона, у сгенерированных через ChatGPT текстов будет скрытый криптографический сигнал, который поможет определить авторство.
Фильм интерпретация теста Тьюринга
Есть интересный фильм "Из машины" (2014 года), который построен как раз на интерпретации теста Тьюринга. Молодого человека нанимает миллиардер, сделавший состояние на высокотехнологичных разработках. Задача нового сотрудника - провести неделю в отрезанном от цивилизации доме, тестируя женщину-робота с искусственным интеллектом. Главный герой уже знает, что перед ним робот, но посредством общения этому роботу нужно убедить собеседника в своей человечности. Рейтинг IMDb: 7.70.
Если вас вдохновила эта статья на философские размышления, советую посмотреть этот фильм! Слоган фильма: "Стереть границу между человеком и машиной - значит размыть границу между людьми и богами". Еще раз нам напоминает про ответственность перед человечеством за принимаемые нами решения. Как сказал Парацельс: "Всё - яд, всё - лекарство; то и другое определяет доза".
Напишите в комментариях, как вы относитесь к развитию ИИ, видите ли в этом опасность?
Спасибо, что дочитали до этого места! Если вам понравился мой контент, и вы хотите меня поддержать, то лучший способ:
- Поставьте лайк 👍 и напишите комментарий 💬 ниже.