В преддверии запуска GPT-5 новое исследование показывает, что отличить ChatGPT от человека становится всё сложнее.
Этот прогресс вызывает вопросы о роли ИИ в наших будущих взаимодействиях.
Исследователи из отделения когнитивной науки UC Сан-Диего подвергли GPT-4, GPT-3.5 и ELIZA (чат-бот 1960-х годов) современному Тьюринг-тесту.
Участники вели пятиминутные беседы либо с человеком, либо с ИИ, а затем угадывали, с кем они разговаривали.
Вот что вам нужно знать:
- GPT-4 принимали за человека 54% времени, что немного лучше, чем GPT-3.5 (50%), но всё же уступает настоящим людям (67%).
- ИИ были запрограммированы быть лаконичными, неформальными и иногда допускать орфографические ошибки, чтобы казаться более похожими на человека.
- Участники часто использовали стиль языка, эмоциональные сигналы и вопросы, основанные на знаниях, чтобы определить, является ли их собеседник ИИ или человеком, но они не были лучше случайного выбора в распознавании GPT-4 как ИИ.
Человек или бот? Результаты были показательны.
GPT-4 определяли как человека 54% времени, опережая GPT-3.5 (50%) и значительно превосходя ELIZA (22%).
Тем не менее, он всё ещё отставал от настоящих людей (67%).
В любом случае, это указывает на то, что современные системы ИИ могут обмануть людей, заставив их верить, что они общаются с человеком.
Результаты показали, что участники часто полагались на лингвистический стиль, социально-эмоциональные факторы и вопросы, основанные на знаниях, чтобы решить, разговаривают ли они с человеком или машиной.
По мере развития ИИ различение между человеком и машиной станет ещё более интригующей задачей.
Похоже, пришло время начать задаваться вопросом, не является ли ваш приятель из чата на самом деле чат-ботом.