Порой кажется, что нейросети развились настолько, что обрели близкий к человеческому разум. Во всяком случае, ответы ChatGPT и ему подобных систем выглядят так, будто их дает живой собеседник.
Иллюзия очеловечивания ИИ довольно опасна. В феврале мошенники при помощи технологии deepfake выманили больше 25 миллионов долларов у финансового работника из Гонконга. И это далеко не единственный случай — хотя и самый яркий.
Директор языковой лаборатории, заведующая кафедрой лингвистических дисциплин Университета Западной Австралии Селеста Родригес Лоуро объяснила на страницах The Conversation, за счет чего нейросети кажутся настолько убедительными, при том что на поверку качество выдаваемой ими информации зачастую не выдерживает никакой критики.
Причина кроется в нас самих. Мы запрограммированы на антропоморфизацию различных нечеловеческих существ, с которыми взаимодействуем. До недавних пор это были в основном животные, теперь к ним присоединились большие языковые модели (LLM).
Корень проблемы в том, что мы смешиваем язык и мышление, и, поскольку LLM изъясняются довольно складно — нам кажется, что они умеют думать. Такое объяснение антропоморфизму предложили американские ученые Кайл Маховальд, Анна Иванова и коллеги.
В своей статье на эту тему они указывают на принципиальные различия между формальной лингвистической компетентностью (знание правил и статистических закономерностей в языке) и функциональной (умение использовать язык в реальных ситуациях), которых мы не замечаем в беседе.
В 1975 году философ и лингвист Пол Грайс сформулировал принцип сотрудничества, исходя из которого в основе разговора лежит наше всеобъемлющее желание понять друг друга. По его мнению, любой вовлеченный в осмысленную коммуникацию человек старается придерживаться этого принципа — и предполагает, что и собеседник тоже ему следует.
Успех генеративного ИИ, таким образом, во многом обусловлен человеческой потребности сотрудничать в разговоре и инстинктивно тянуться к взаимодействию. Этот усвоенный в детстве способ общения становится привычным.
По словам Грейса, «потребуются немалые усилия, чтобы радикально отказаться от этой привычки».
Помните об этом, когда в следующий раз будете взаимодействовать с LLM — не позволяйте ей казаться вам человеком.
В эксперименте люди искали разницу между стихами ChatGPT и Шекспира
Нейросеть научили сомневаться в себе: новая версия ChatGPT умеет рассуждать