ChatGPT уже активно вошла в жизнь людей – к нейросети многие обращаются за советом, она успешно сдает экзамены на юриста или медика. Однако нередко ChatGPT дает неправильные ответы на вопросы, выдавая за факты свою же выдумку.
Это называют галлюцинациями нейросетей, и вот как такие галлюцинации выглядят на деле.
Из этих примеров следует, что на ChatGPT, как, впрочем, и на любую другую нейросеть, нельзя полагаться полностью. Но почему же нейросеть галлюцинирует?
В «Яндексе» называют две причины. Первая заключается в самом принципе работы: модель, лежащая в основе ChatGPT, «читает» последовательность слов и предсказывать на её основе следующее. Затем процесс повторяется, нейросеть предсказывает второе слово и так происходит до тех пор, пока не получится законченный текст. Во время этого стоит задача не дать фактически верный ответ, а ответить так, как бы отвечал человек.
«Таким образом, внутри больших языковых моделей заложены не глубокие знания о мире, а лишь основанное на статистике понимание, как должны строиться тексты и как должны соотноситься между собой запросы и ответы», – поясняет «Яндекс».
Вторая причина галлюцинаций – в том, что предобучение нейросети осуществляется при помощи больших массивов данных, которые не всегда содержат фактически верную информацию (например, если нейросеть обучается на базе ответов на форумах, где люди часто отвечают в соответствии со своими предубеждениями и заблуждениями).