Исследование Microsoft Research выявило тревожную тенденцию: при длительном общении ведущие языковые модели начинают "деградировать". Анализ более 200 тысяч диалогов показал, что точность ответов падает с 90% при одиночных запросах до 65% в многоходовых беседах. Главная причина ошибок — "преждевременная генерация", т.е. нейросети спешат ответить, не дочитав сообщение до конца. В ходе разговора ошибки накапливаются: бот начинает опираться на свои предыдущие, даже абсурдные ответы, а его сообщения "раздуваются" на 20-300%, что в итоге провоцирует галлюцинации. Источник
ИИ тупеет, общаясь с человеком
Исследование Microsoft Research выявило тревожную тенденцию: при длительном общении ведущие языковые модели начинают "деградировать".
Анализ более 200 тысяч диалогов показал, что точность ответов падает с 90% при одиночных запросах до 65% в многоходовых беседах.
Главная причина ошибок — "преждевременная генерация", т.е. нейросети спешат ответить, не дочитав сообщение до конца.
В ходе разговора ошибки накапливаются: бот начинает опираться на свои предыдущие, даже абсурдные ответы, а его сообщения "раздуваются" на 20-300%, что в итоге провоцирует галлюцинации.
