В рамках теста люди вели беседу, пытаясь определить, общаются ли они с человеком или с нейросетью. ChatGPT-4 смог ввести в заблуждение людей в 54% случаев
ChatGPT успешно прошел проверку, известную как «тест Тьюринга», который оценивает уровень интеллекта, сравнимый с человеческим. Эту информацию подтвердили ученые-когнитивисты из Калифорнийского университета.
В рамках теста живые люди вели беседу, пытаясь определить, общаются ли они с человеком или с нейросетью. Ученые утверждают, что ChatGPT-4 смог ввести в заблуждение людей в 54% случаев, и это заметный прогресс по сравнению с предыдущими версиями и другими искусственными интеллектами. Гендиректор «А-Я эксперт», старший преподаватель кафедры «Кибернетика» НИЯУ МИФИ Роман Душкин этого восторга не разделяет:
Роман Душкин главный архитектор систем искусственного интеллекта Исследовательского центра ИИ по направлению «Транспорт и логистика» НИЯУ МИФИ «Сам по себе тест Тьюринга — процедура, которая показывает одно: система научилась проходить тест Тьюринга. Когда Алан Тьюринг написал свою работу «Может ли машина мыслить», это было почти век назад, только эта процедура, которую он описал достаточно сумбурно в своей работе, на этот вопрос не отвечает. По современной убежденности большинства ученых, и я не понимаю, почему ученые-когнитивисты из Калифорнийского университета, которые проводили какие-то исследования, к этим ученым не относятся, в процедуре под названием «тест Тьюринга» никакого резона вообще нет сегодня. Сегодня модели сравнивают друг с другом и с уровнем человека при рассмотрении определенных задач, решении определенных вопросов, и для этого составляются специальные метрики и вопросники, они проверяют, насколько эта тема приближена к тому, что она отвечает как человек, но это не значит, что она мыслит как человек. Мы видим, что система ведет себя как человек, и мы говорим: вот эту задачу она решает примерно на таком же уровне, как ее решал бы среднестатистический человек, при решении этих задач можем опираться на такие модели. Все делается, чтобы автоматизировать какие-то процессы, замещать человеческий разум при решении каких-то рутинных задач большими языковыми моделями. И здесь единственная серьезная проблема, которую я вижу, что, когда человек долго всматривается в ChatGPT, ChatGPT начинает изнутри него смотреть, и это начинает уже чувствоваться. Я слышал в речи некоторых людей, с которыми общаюсь, вот эти ноты: они нас начинают переделывать, это самая серьезная этическая проблема, которую я уже вижу, может быть, много других, философы пусть думают».
Британский взломщик кодов времен Второй мировой войны Алан Тьюринг предложил идею теста для определения способности машины к мышлению в 1950 году. Беседа одновременно с человеком и компьютером ведется только текстовым способом, например через клавиатуру и экран.
Переписка должна происходить через определенные интервалы времени, чтобы судья не мог сделать выводы на основе скорости ответов. Во времена Тьюринга компьютеры были медленнее человека. Сегодня правило интервалов так же актуально, поскольку компьютеры реагируют намного быстрее людей.