Исследователи из Калифорнийского университета в Сан-Диего провели увлекательный эксперимент, проверяя способности чат-бота ChatGPT к имитации человека. В рамках этого эксперимента был использован известный Тест Тьюринга, который существует с середины прошлого века.
Тест Тьюринга был предложен выдающимся математиком и криптографом Аланом Тьюрингом в 1950 году. Его цель заключается в определении способности машины мыслить. Согласно правилам, человек взаимодействует с другим человеком и компьютером, не зная, кто из них человек, а кто - компьютер. Затем собеседник должен определить, кто из них - компьютер, а кто - человек, при условии, что компьютер должен симулировать человека.
В эксперименте участвовали 652 добровольца, проведено 1810 сессий вопросов-ответов, и проанализированы 1405 из них. В качестве "обманщика" был выбран чат-бот ChatGPT на основе языковой модели GPT-3.5, доступной бесплатно, ChatGPT на базе GPT-4, доступного по подписке, и виртуального собеседника ELIZA, разработанного ещё в 1966 году.
В ходе диалогов, в которых один из участников случайным образом выбирался в качестве вопрошающего, а другой отвечал, целью было убедить собеседника в том, что он человек. При общении с программой ChatGPT она всегда выступала в роли "отвечающего". Важно отметить, что алгоритмы ChatGPT запрещают ему выдавать себя за человека.
По результатам теста, ELIZA в 27% случаев убедила собеседника, что он общается с человеком. У GPT-3.5 этот процент составил всего 14%, в то время как GPT-4 смог "обмануть" в 41% случаев. Тем не менее, этого было недостаточно для успешного прохождения теста, где требуется не менее 50% для доказательства человечности.
Заметно, что люди правильно идентифицировали других людей только в 63% случаев, что делает результат ChatGPT на базе GPT-4 весьма неплохим.