Тест Тьюринга, предложенный Аланом Тьюрингом, является одной из ключевых проверок способности машины демонстрировать интеллект, неотличимый от человеческого. В этом тесте участники общаются с собеседником через компьютер, не зная, является ли он человеком или машиной.
В недавнем исследовании, опубликованном на Arxiv.org, принимали участие 500 человек. Они общались с четырьмя разными собеседниками по пять минут и затем оценивали, кто из них является человеком, а кто — машиной.
Участники теста:
- GPT-4
- GPT-3.5
- Программа ELIZA из 60-х годов
- Живой человек
Старейшая из участвующих программ, ELIZA, была признана человеком лишь 22% участников. Это неудивительно, учитывая её ограниченные возможности и примитивный алгоритм.
Модель GPT-3.5 была значительно успешнее: 50% участников посчитали её человеком. Это свидетельствует о значительном прогрессе в развитии языковых моделей.
Наибольшее впечатление произвела GPT-4: 54% участников ошибочно приняли её за человека. Этот результат показывает, что GPT-4 успешно проходит тест Тьюринга, демонстрируя высокий уровень понимания и генерации естественного языка. Настоящего человека распознали 67% участников.
Участники теста также оценивали свою уверенность в принятии решения по шкале от 0 до 100. Средние показатели уверенности были следующими:
- GPT-4 - 70%
- GPT-3.5 - 65%
- ELIZA - 90%
- Живой человек - 80%
Высокий уровень уверенности при оценке ELIZA можно объяснить её предсказуемыми и ограниченными ответами, которые легко отличить от человеческих.
Исследование демонстрирует значительный прогресс в развитии языковых моделей. Успех GPT-4 в тесте Тьюринга свидетельствует о том, что машины становятся всё более способными к имитации человеческого общения. Это открывает новые горизонты для применения искусственного интеллекта в различных областях, от клиентской поддержки до творческих индустрий.
Достижения GPT-4 показывают, что мы находимся на пороге революции в области искусственного интеллекта. С каждым новым поколением языковые модели становятся всё более продвинутыми, что ставит перед обществом новые вопросы о взаимодействии человека и машины, а также о будущем этических и правовых аспектов использования ИИ.