в продолжение обсуждения ICLR: не знаю, кто это начал, может быть это был Грэхэм Ньюбиг (1 картинка), но люди из Pangram Labs засучили рукава и сделали анализ
они проанализировали рецензии от 2021 года, предсказуемо почти 100% было оценено, как написанные людьми (2 картинка); а вот в текущем году уже 21% полностью сгенерирован, и еще 4% почти полностью, то есть 1 из 4 рецензий написана LLM (3 картинка)
интересно, что в плане рейтинга модели предсказуемо завышают оценки; но разница всего в три десятых балла, думаю, что статистически это неотличимо (4 картинка)
рекомендую посмотреть полные результаты, там много чего еще есть; кстати, коллеги выпустили препринт по своей системе EditLens, c помощью которой анализ делали (из забавного, процитировали моих бывших коллег, Катя, Лаида, привет!)
на мой взгляд бороться с волной ИИ-рецензий бессмысленно, нужно это возглавить; Ян ЛеКун как раз недавно рекламировал специальный сайт, куда можно загрузить статью и получить сгенерированную рецензию
