Исследователи из университетов Цюриха, Амстердама, Дьюка и Нью-Йорка выяснили: современные языковые модели справляются с имитацией интеллекта, но не с воспроизведением настоящей человеческой агрессии или других негативных эмоций. В исследовании, которое назвали «вычислительным тестом Тьюринга», классификаторы смогли распознать переписки, созданные ИИ, с точностью 70–80%.
В рамках эксперимента исследователи подготавливали ответы от девяти открытых моделей, включая Llama 3.1 8 B, Mistral 7B, Qwen 2.5 7B Instruct и другие, на реальные посты в соцсетях вроде X, Bluesky и Reddit. Несмотря на попытки подгонки — от простой подсказки до дополнительного обучения — влияние «тональности эмоций» оказалось тем самым маркером, по которому алгоритмы выдают себя.
Исследователи отмечают, что ИИ-тексты часто звучат слишком «вежливо» или несут в себе нейтральный позитив, в то время как люди в соцсетях склонны к спонтанным эмоциям, сарказму, раздражению или даже агрессии. Именно недостаток «человеческой токсичности» и стал главным отличием. Авторы отмечают, что даже после калибровки ИИ-ответы остаются явно отличимыми от текста человека, особенно по эмоциональной окраске.
Этот тест показывает, что имитация интеллекта становится проще, чем точная имитация человеческих эмоциональных реакций. Это открытие может оказаться полезным не только для понимания границ ИИ, но и для разработки инструментов по выявлению машинных ответов в интернете.