Исследование Pangram Labs показало, что значительная доля рецензий на ICLR 2026 частично или полностью сгенерирована ИИ: по их оценке, 21% рецензий — полностью сгенерированы, ещё 4% — сильная ИИ‑редакция, 9% — средняя, 22% — лёгкая, и только 43% рецензий — полностью человеческие.
Конференция выпустила официальное заявление: проблему заметили, просят сообщать о плохих/ИИ‑рецензиях AC и обсуждают меры.
Что конкретно было проанализировано
- Объём данных: Pangram Labs проанализировала все рецензии и тексты (в т.ч. 75 800 документов/рецензий и поданных работ).
- Методика: PDF → OCR (Mistral‑OCR) → анализ текста с помощью моделей Pangram (и отдельного инструмента EditLens для коротких рецензий) для оценки степени участия ИИ в написании/редактировании.
- Валидация: инструмент тестировали на рецензиях ICLR 2022 — заявленные уровни ложноположительных срабатываний очень низки по всем степеням (особенно для «полностью ИИ‑сгенерированных» — Pangram не зафиксировала ложных срабатываний в валидации). Ссылка на публичную статистику: iclr.pangram.com/submissions.
Основные наблюдения и статистика
- 21% рецензий классифицированы как полностью ИИ‑сгенерированные.
- AI‑вовлечённые рецензии в среднем длиннее (~+26%) и склонны выставлять чуть более высокие оценки (≈+0.3 балла).
- 39% поданных статей использовали ИИ в написании в той или иной степени; работы с почти полностью ИИ‑генерированным текстом (90–100%) получили в среднем низкие оценки (примерно 2.9).
- Сообщается, что некоторые рецензии, помеченные как ИИ‑сгенерированные, повлияли на решения (негативные рецензии которые отозвали подачу/вернули на доработку).
Почему это проблема
Качество и надёжность рецензий: чисто сгенерированный текст может выглядеть «убедительно», но не быть основан на глубоком понимании, реплицируемости, проверке воспроизводимости или знании близких работ.
Доверие процесса: автоответы ИИ подрывают доверие авторов к честности и компетентности рецензирования.
Манипуляции и «игра»: существует риск, что рецензенты начнут «пакетно» пользоваться ИИ для экономии времени — при слабом контроле это приведёт к формальному, шаблонному рецензированию.
Системный эффект: если ИИ‑рецензии дают чуть выше оценки и при этом длиннее, это может искажать статистику решений и создавать смещение в отборе.
Ответственность и подотчётность: кто первично отвечает за содержание рецензии — человек, использовавший ИИ, или модель? Как применять санкции при плохих рецензиях?
Официальная реакция ICLR
ICLR опубликовала заявление, подтверждающее, что проблему замечена и что делаются шаги; конференция просит авторов сообщать о низкокачественных или ИИ‑сгенерированных рецензиях AC (Area Chairs). Никаких жёстких правил (полного запрета на использование ИИ при рецензировании) пока не объявлено — идёт обсуждение мер.
Практические меры и рекомендации (что можно предпринять сейчас)
Для конференций и организаторов:
- Ясная политика по использованию ИИ в рецензировании: требовать явного раскрытия (disclosure) степени использования ИИ при подготовке рецензии.
- Обязательная подпись рецензии и указание, что рецензент лично понимает и несёт ответственность за её содержание.
- Автоматический скриннинг рецензий (инструменты детекции ИИ) + выборочная ручная модерация особо сомнительных/критичных рецензий.
- Усиление роли AC/мета‑рецензирования: AC должны проверять консистентность и глубину отзывов, особенно когда решения зависят от 1–2 рецензий.
- Политики санкций: повторяющиеся случаи низкокачественных или полностью ИИ‑сгенерированных рецензий — временное отстранение от рецензирования, требование переобучения.
- Разработать набор критериев качества «деловой рецензии» (проверка воспроизводимости, конкретные вопросы авторам, ссылки на близкие работы и т.д.), и требовать, чтобы рецензии содержали минимум таких пунктов.
Для рецензентов:
- Требовать раскрытия: если вы использовали ИИ как помощника (резюме, перефразирование), укажите это и подтвердите, что вы проверили каждый аргумент вручную.
- Не полагаться на ИИ для критической оценки методологии, воспроизводимости и корректности экспериментов — такие проверки требуют экспертного анализа.
- Формализуйте ответы: включайте «проверочные» элементы — воспроизводимость, конкретные замечания по метрикам/экспериментам, предложения по улучшению — это затруднит формальное подменивание качественного анализа шаблонным ИИ‑текстом.
Для авторов:
- Проверяйте рецензии на несоответствия, шаблонность и фактические ошибки — и своевременно сигнализируйте AC.
- При получении сомнительных рецензий приводите конкретные контраргументы и просите разъяснений у AC.
Для инструментов и разработчиков:
- Разрабатывать метрики и открытые бенчмарки для детекции AI‑сгенерированных рецензий; обеспечить прозрачность точности и уровней ложных срабатываний.
- Внедрять «водяные знаки»/проверяемую атрибуцию для ИИ‑инструментов (если ИИ использовался, модель ставит метаданные). Это облегчает аудит.
Долгосрочные соображения
Рецензирование как профессия может потребовать формализации (стандарты качества, обучение рецензентов, вознаграждение) — иначе экономика «быстрой дешёвой рецензии» может разрушить академический отбор.
Нужно отличать допустимое применение ИИ (помощь в языковой правке, структуре) от недопустимого (полная генерация экспертной оценки без проверки).
Прозрачность и открытость процесса: двусторонняя проверка (peer review of reviews) и более активная роль AC/мета‑ревью могут стать нормой.
Хотите создать уникальный и успешный продукт? СМС – ваш надежный партнер в мире инноваций! Закажи разработки ИИ-решений, LLM-чат-ботов, моделей генерации изображений и автоматизации бизнес-процессов у профессионалов.
ИИ сегодня — ваше конкурентное преимущество завтра!
Тел. +7 (985) 982-70-55
E-mail sms_systems@inbox.ru
Сайт https://www.smssystems.ru/razrabotka-ai/