Университет Калифорнии в Сан-Диего провёл исследование, по итогам которого две языковые нейросистемы нового поколения, GPT-4.5 и LLaMa-3.1-405B, показали отличный результат. В тестировании они сумели убедить большинство участников в своей человечности, превзойдя собеседников из плоти и крови.
В ходе эксперимента применили трёхстороннюю схему. Доброволец вёл диалог одновременно с двумя собеседниками — реальным человеком и цифровым интеллектом. После общения участник должен был указать, кто из двоих был машиной. Тестирование провели на двух независимых выборках — студентах университета и пользователях платформы Prolific.
Итоги оказались неожиданными. Модель GPT-4.5, нацеленная на подражание человеческому стилю, сумела ввести в заблуждение 73% опрошенных. Это больше, чем у настоящих людей. Модель LLaMa-3.1 также выступила уверенно — её приняли за живого человека в 56% случаев.
А нейросистемы без тонкой настройки провалились. GPT-4o и ранняя ELIZA в большинстве случаев были легко распознаны. Их результат (всего 21% и 23% соответственно)показал, насколько важен образ, в который «вживается» машина.
С момента появления идеи теста Тьюринга прошло 75 лет, и впервые за это время машины действительно прошли его в классическом понимании. Алан Тьюринг ещё в 1950 году предложил проверять, способен ли механизм вести себя так, чтобы человек не заметил подмены. Сейчас эта идея из теории стала реальностью.
Любопытно, что лишь малая часть участников (12%)старалась проверить собеседника на точность знаний или логичность. Остальные больше обращали внимание на интонации, эмоциональные штрихи и особенности речи — то, как человек выражает себя, а не что именно он говорит.
Настроенные на образ молодого интроверта, увлечённого сетевой культурой, языковые модели смогли вжиться в роль так глубоко, что смотрелись естественнее реальных участников. Они вели беседу непринуждённо, живо и уверенно.
Учёные подчёркивают, что у этого успеха есть оборотная сторона. Появление цифровых «двойников» создаёт угрозу — их можно применять в манипуляциях, информационных атаках и социальной инженерии. Кроме того, взаимодействие с такими собеседниками может вытеснить живое человеческое общение, оставляя человека в окружении искусственно созданных отражений.
Исследование выявило любопытную закономерность — способность отличить цифрового собеседника от настоящего оказалась практически одинаковой у всех групп участников. Даже те, кто профессионально взаимодействует с языковыми системами каждый день, не продемонстрировали уверенного преимущества. При этом некоторые подходы, например, намеренные попытки вывести модель на противоречие или логическую ошибку, показали себя более действенными.
Учёные отмечают, что тест Тьюринга — не застывшая формальность. Его результат тесно связан с тем, как меняется восприятие человека — как в отношении технологий, так и в отношении самого себя. Чем точнее машины воспроизводят человеческое поведение, тем более остро встаёт вопрос — что действительно отличает нас?
Ещё по теме: