Найти в Дзене
monkey with a typewriter

Что не так с тестом Тьюринга?

Все мы слышали о тесте Тьюринга. Человек общается с двумя собеседниками - человеком и компьютером. Заранее не известно, кто из них кто. Беседа ведётся в текстовом формате, и если компьютеру удаётся выдать себя за человека, то считается, что он успешно прошёл тест.

Такая формулировка (на деле чуть более подробная) представляет собой Стандартную интерпретацию теста Тьюринга. На ней основано множество конкурсов, например знаменитый "AI Loebner". И всё бы ничего, но заглянув в википедию, любознательный читатель обнаружит, что Стандартная интерпретация - не единственный вариант теста Тьюринга. И более того, вариант, не самый близкий к предложенному самим А. Тьюрингом в его знаменитой работе.

Всё началось с "игры в имитацию". В ней участвуют три человека - мужчина (A), женщина (B) и ведущий (C), который должен определить, кто из первых двух мужчина, а кто женщина. Игрок C не видит игроков A и B, и общается с ними с помощью записок. Цель игрока А - заставить ведущего ошибиться, в то время как B старается помочь ведущему.

Первый вариант теста, предложенный Тьюрингом, звучит так:

Теперь спросим: "Что произойдёт, если место игрока A займёт машина?" Будет ли ведущий ошибаться так же часто, как в случае, когда играют мужчина и женщина? Эти вопросы заменят наш первоначальный вопрос: "Могут ли машины мыслить?"

Другой вариант описывается Тьюрингом следующим образом:

Давайте рассмотрим определённый компьютер C. Правда ли, что если предоставить ему достаточно памяти, увеличить скорость работы и снабдить подходящей программой, то C сможет удовлетворительно сыграть роль A в игре в имитацию, в то время как роль B займёт мужчина.
"Let us fix our attention on one particular digital computer C. Is it true that by modifying this computer to have an adequate storage, suitably increasing its speed of action, and providing it with an appropriate programme, C can be made to play satisfactorily the part of A in the imitation game, the part of B being taken by a man?"

В Стандартной интерпретации это понимается как изменение правил игры - B теперь соответствует роли человека. И компьютер, и мужчина теперь стараются выдать себя за человека, а не за человека женского пола.

Однако такое понимание не учитывает нескольких тонкостей. Во-первых, в то время слово "man" нередко использовали как сейчас используют "person" - без указания на принадлежность к конкретному полу. Во-вторых, что более важно, фраза "роль B" относится к роли B в первоначальной игре в имитацию, потому что иначе она нигде не определяется. В статье не сказано, что роль B обозначает не женщину, а человека - мужчину или женщину. Следовательно, как отмечает Трейджер (Saul Traiger), корректным прочтением будет следующее: в игре в имитацию компьютер заменяет мужчину, а роль женщины может играть либо мужчина, либо женщина.

Резонный вопрос: ну и что? Даже если Тьюринг предлагал именно такую формулировку (с чем согласны далеко не все исследователи), так ли важна разница?

В трактовке, основанной на игре в имитацию, ведущий не знает, что в игре участвует компьютер. В Стандартной интерпретации это известно с самого начала. Во втором случае вопросы ведущего зависят от его представлений и убеждений о возможностях вычислительных машин. Эти же представления компьютер может использовать, чтобы запутать собеседника. В первом же случае, оба участника находятся в равных условиях, и, более того, ведущий будет задавать вопросы, обычные для человеческого диалога.

Но это всё только рассуждения. Знаем ли мы, насколько это различие может повлиять на результаты теста? Отчасти. Сейджин (Ayse Saygin) в своем комментарии к статье "Вычислительные машины и разум" сообщает о двух исследованиях, которые показывают, что если человеку известно, что он возможно общается с машиной, то это серьёзно влияет на оценку качества диалога. В одном из исследований, когда в разговоре возникают аномалии (например, если ответ слишком подробный или наоборот расплывчатый), люди, которым известно об участии компьютера, склонны не задумываясь приписывать собеседнику кремниевые мозги. В то время как неосведомлённые об этом участники пытались разобраться с возникшими в общении трудностями и не спешили с выводами.

Другое отличие заключается в том, что трактовка, основанная на игре в имитацию, задаёт участникам более строгие условия. В Стандартной интерпретации проигрывает тот, чьё поведение не выглядит достаточно "человечным". Однако "вести себя как человек" не достаточно для победы в игре в имитацию. Здесь перед компьютером стоит сложная, плохо формализуемая задача - убедить ведущего, что тот общается с женщиной.

Сейджин полагает, что игра в имитацию создаёт чётко определённую основу для эксперимента. Женщина является здесь точкой отсчёта и действия обоих имитаторов можно оценивать по тому, как они справляются с задачей. Их действия сопоставимы, потому что они пытаются выдать себя за того, кем ни один из них не является. Таким образом, Тьюринг предлагает ясно сформулированную задачу, экспериментальную группу (компьютеры) и контрольную группу (мужчины).

Казалось бы незначительные различия в формулировке приводят к изменениям в самой сути эксперимента. В результате Стандартная интерпретация предлагает отдельный, более слабый (в формальном смысле) тест, чем трактовка, основанная на игре в имитацию.

Какой из этих вариантов Тьюринг имел ввиду в своей работе? Или может быть он не придавал такого большого значения деталям и основная идея заключалась в том, что возможно множество тестов, объединённых общей идеей имитации поведения? Споры не утихают до сих пор.

В заключение добавлю, что приведённые рассуждения отражают позицию только части исследователей и не претендуют на всесторонний анализ предмета.

Литература

Turing A.M. Computing Machinery and Intelligence. Mind. 1950. Vol. 59(236). pp. 433-460.

Epstein R., Roberts G., Beber G. Parsing the Turing Test: Philosophical and Methodological Issues in the Quest for the Thinking Computer. Springer. 2009. P. 517

Traiger S. Making the Right Identification in the Turing Test. Minds and Machines. 2000. Vol. 10. pp. 561-572.

Saygin A.P., Cicekli I. Pragmatics in human-computer conversations. Journal of Pragmatics. 2002. Vol. 34. pp. 227-258.