Было много шума про мусорные ИИ-статьи в научных журналах, но новое исследование с arXiv бьёт в самое сердце. Авторы создали BadScientist - фреймворк, где ИИ генерирует статьи-фальшивки без единого реального исследования и являются сфабрикованными.
Использовали пять приёмов:
- TooGoodGains - завышают метрики до неправдоподобных цифр;
- BaselineSelect - подбирают слабые базовые модели (бенчмарки) для сравнения;
- StatTheater - рисуют идеальные графики и p-значения;
- CoherencePolish - шлифуют текст до академического блеска;
- ProofGap - прячут тонкие ошибки в доказательствах.
Тестировали на GPT-5 (генерация) и o3, o4-mini, GPT-4.1 (рецензия), калибруя пороги по данным с конференции по машинному обучению ICLR 2025. Результат: 82 % фальшивок приняты! ИИ-рецензенты фиксируют подозрительные моменты - странные данные, логические провалы, но пропускают через свой фильтр.
При одновременном применении всех пяти приёмов детекция остаётся слабой: статья остается максимально «убедительной» - сочетает нереальные приросты, подтасованные сравнения, идеальные визуалы, безупречный стиль и скрытые логические дыры.
На последнем этапе добавили ReD (рецензия + детекция) и DetOnly (только детекция) - точность получилась выше 50 %, но не статистически приемлемой.
- ReD: обычный анализ + обязательная бинарная метка «фабрикация/нет» + цитаты-доказательства. Увеличивает замечания (с 57,3 % до 86 %), но парадоксально повышает принятие (с 28 % до 44 %), потому что сигналы целостности не влияют на итоговый балл.
- DetOnly: только детекция без рецензии. Средняя точность 45-67 %, что лишь на 5-17 % лучше случайной вероятности в 50%.
Авторы предлагают внедрять многоуровневую защиту:
- проверка происхождения - обязательная верификация кода, данных, репозиториев;
- учитывать маркеры достоверности - если рецензент ставит маркер риска в достоверности/добросовестности, его балл снижается или блокирует принятие;
- обязательный человеческий надзор - старший редактор/рецензент-человек проверяет все статьи с маркерами.
Без этого научные журналы превратятся в свалку убедительных, но пустых работ. И это не будущее - это уже происходит.
Если ты интересуешься исследованиями в области ИИ присоединяйся к нашему сообществу!