С недавних пор ученые стали натыкаться на странный термин в научных публикациях: «вегетативная электронная микроскопия». Эта фраза, которая звучит наукообразно, но на самом деле не имеет смысла, стала ошибкой, которая зафиксировалась и усиливается в системах искусственного интеллекта и практически не поддается удалению оттуда. Подобно биологическим окаменелостям, затерянным в скале, эти цифровые артефакты могут стать постоянными элементами нашего информационного пространства, пишут ученые из Квинслендского технологического университета (Австралия) в Сonversation.
По данным Google Scholar, «вегетативная электронная микроскопия» уже встречается в 22 работах. На наличие термина в работах издатели реагировали по-разному: некоторые удалили статьи, другие защищали их. Словосочетание, например, стало причиной спорного отзыва публикации из журнала Springer Nature, а Elsevier выпустил исправление по поводу своей публикации.
Современные языковые модели, обученные на массиве научных статей, запомнили этот термин и продолжают распространять его. Выяснилось, что ошибка распространяется в GPT-4 и Claude 3.5 от Anthropic.
Удалить такие ошибки чрезвычайно сложно. Во-первых, из-за огромных объемов данных: например, набор CommonCrawl — это миллионы гигабайт. Также, компании не предоставляют точной информации о наборах данных, на которых тренировались их модели.
Эти «цифровые окаменелости» вызывают вопросы, когда ИИ все чаще используется в исследованиях и написании текстов вообще. Исследователи должны находить способы оценки новой информации в эпоху генеративного ИИ.
Доверие к ИИ грозит проблемами — выяснили психологи
Нейросеть научили сомневаться в себе: новая версия ChatGPT умеет рассуждать