3692 подписчика
Еще вчера был озадачен тем, как нагло ChatGPT врал мне про творчество Пелевина. А сегодня все встало на свои места. Стало понятно, что это "галлюционации" нейросети.
Современные языковые модели имеют проблему с "галлюцинациями", когда они выдумывают факты, но делают это очень правдоподобно. И это может быть опасно, если такие модели применяются в медицине, финансах или других ответственных областях.
И если люди не разбираются в теме, то не смогут контролировать ответы модели и замечать ошибки.
Как получаются "галлюционации" неросетей?
Языковые модели, такие как GPT, умеют читать последовательность слов и предсказывать следующее слово на основе этой последовательности. Этот процесс повторяется много раз, пока не получится законченный текст.
Вспомните систему набора текста, когда компьютер предлагает вам следующие варианты слов, которые подходящие в данном сочетании. Вот нечто подобное и происходит с нейронкой. В настоящее время перед моделями языковых обработок ставится задача создавать не фактически верные ответы, а такие, которые будут максимально приближены к человеческим. В связи с этим, большие языковые модели содержат в себе не глубокие знания о мире, а лишь основанное на статистике понимание, как должны строиться тексты и как должны соотноситься между собой запросы и ответы.
И всё бы оставалось на уровне модели GPT3, но сейчас предобучение происходит при помощи получения нейросетью обратной связи от человека.
1 минута
30 апреля 2023
126 читали