Сможете ли определить, общаетесь ли вы с реальным человеком или с искусственным интеллектом? Более миллиона людей поучаствовали в онлайн-игре, пытаясь отличить машину от живого собеседника.
А вы отличите машину от живого собеседника?
Названный в честь знаменитого ученого Алана Тьюринга, тест Тьюринга — это способ определить, может ли искусственный интеллект мыслить и вести себя, как человек.
Выглядит он следующим образом: Человек общается с компьютером и другим человеком. На основании ответов он должен определить, кто компьютер, а кто человек. Если определить не получается, то значит, что машина прошла тест.
Игра-рулетка
В новом исследовании, еще не прошедшем рецензирование и опубликованном на сайте arXiv, ученые создали онлайн-приложение Human or Not и опробовали его на более чем миллионе человек.
Human or Not – игра-рулетка, которая связывает участника с ИИ-ботом или другим участником. Главная цель – понять, с кем вы ведете беседу: с машиной или человеком.
Исследователи использовали смесь самых продвинутых больших языковых моделей (БЯМ) и продумали для каждого бота свою предысторию. К примеру, один из них (Адам) должен был убеждать людей, что он – это они из будущего. Такой подход, хоть и не сильно похож на типичное поведение человека, мог усложнить игру и сбить с толку участников.
Что показали результаты?
В общей сложности, за месяц ученые получили более 10 миллионов ответов от 1,5 миллионов участников.
Обычно люди обращали внимание на опечатки и жаргонизмы, считая, что подобное присуще только человеку. Однако многие чат-боты также моделировали опечатки и жаргонизмы.
С другой стороны, по словам ученых, использование нецензурной лексики в подавляющем большинстве случаев исходило от людей.
В итоге только в 68% случае участники угадывали, кем является их собеседник. Если им приходилось общаться с чат-ботом, то они угадывали в 60% случаев, а если человек – в 73%.
Исследователи признают, что в их тесте были ограничения. К примеру, сам характер игры, возможно, влиял на стратегию общения участников.
Кстати, ранее исследователи обнаружили, что тесты CAPTCHA больше не работают, так как современные боты выполняют их быстрее и точнее людей. Подробности об этом можно узнать в нашем материале.