Найти в Дзене
Без границ

Новая профессия: ловец ChatGPT. Как вузы объявили войну ИИ (и почему уже проигрывают)

Оглавление

Василий Громов, доктор физико-математических наук из ВШЭ, на одном из мероприятий Никитского клуба Мосбиржи выдал статистику, от которой любой преподаватель хватается за сердце: 90% курсовых и дипломных работ в российских вузах пишется тем, что его коллеги-филологи окрестили «чатом гопоты» — ChatGPT.

Представьте: вы шесть лет — с первого курса бакалавриата до второго курса магистратуры — читаете творчество OpenAI. Не студентов. Не их мыслей. Не их ошибок и прозрений. А однообразные, гладкие, идеально отполированные тексты, которые генерирует нейросеть. «Это превращается в какую-то помесь театра абсурда с изощрённой пыткой», — говорит Громов.

И что делают вузы? Создают новую профессию: охотников за ботами. Специальные программы, которые анализируют тексты и выносят вердикт: «написано человеком» или «сгенерировано ИИ». Громов сейчас возглавляет группу, которая по поручению руководства ВШЭ внедряет систему проверки дипломов и курсовых.

Но вот вопрос: а что, если эта война уже проиграна?

90% курсовых пишет "чат гопоты": что происходит в вузах

-2

Начнём с масштаба катастрофы. После запуска ChatGPT в ноябре 2022 года академическая среда впала в лёгкую панику. К концу 2023 года вузы по всему миру стали массово внедрять детекторы ИИ.

Turnitin — гигант рынка антиплагиата — заявил, что выпустил детектор с точностью 98% и частотой ложных срабатываний менее 1%. GPTZero, созданный 22-летним студентом Принстона Эдвардом Тяном, стал хитом — за неделю после запуска в январе 2023 года им воспользовались более 30 тысяч человек. Система вырубилась от наплыва. Originality.AI, ZeroGPT, Copyleaks — рынок взорвался десятками сервисов, каждый из которых обещал 99% точности.

Университеты начали встраивать детекторы в свои системы. Некоторые вузы (например, Монклер в США) даже запретили преподавателям использовать Turnitin из-за опасений насчёт точности. Другие, наоборот, сделали проверку обязательной.

Что студенты? Они быстро поняли правила игры. Как выразился один из исследователей, гонка началась: «Генератор пытается обмануть детектор, детектор пытается поймать генератор».

И пока вузы тестируют детекторы, студенты давно перешли к контрмерам.

Детекторы vs боты: кто кого переиграет

Детекторы работают просто: они анализируют текст на предсказуемость (perplexity) и однородность (burstiness). ИИ пишет слишком ровно, слишком последовательно, слишком «правильно». Человек прыгает: то длинное предложение, то короткое, то неожиданный поворот мысли. ИИ — как метроном.

Но.

Студенты за год научились десяткам способов обхода:

1. Перефразирование
Простейший способ: прогнать текст ChatGPT через Quillbot или другой перефразировщик. Эффективность детекторов падает до уровня случайного угадывания. Исследователи из Университета Мэриленда показали: после перефразирования большинство детекторов
не могут отличить ИИ-текст от человеческого.

2. «Гуманизаторы» ИИ
Появился целый подкласс сервисов:
HIX Bypass, BypassGPT, Undetectable.AI, GrubbyAI, uPass AI. Их задача — взять текст ChatGPT и сделать его «человечнее». Добавить «неровностей», вариативности, случайных оборотов. Заявления: «100% human score», «обходит все детекторы», «проверено на Turnitin».

Работает? Да, довольно хорошо. Исследование Originality.AI показало, что специализированные «гуманизаторы» справляются лучше, чем просто перефразировщики. Правда, лучшие детекторы (тот же Originality) всё равно их ловят, но с каждым обновлением гуманизаторы становятся изощрённее.

3. Магическое слово в промпте
Юрист Кэт Кейси из Нью-Йоркской коллегии адвокатов поделилась трюком: она может обмануть 80-90% детекторов,
просто добавив слово "cheeky" в промпт ChatGPT. Потому что это слово подразумевает ироничные метафоры, необычные повороты — всё то, что ИИ обычно избегает. Результат: текст становится менее предсказуемым, детектор промахивается.

4. Смешанный подход
Самый умный метод: писать вместе с ИИ. Используешь ChatGPT для черновика, потом переписываешь куски своими словами, добавляешь эмоции, анекдоты, личные примеры. Детекторы видят «смешанный текст» — частично ИИ, частично человек. А где граница? Непонятно.

Даже Turnitin признал: их детектор пропускает примерно 15% ИИ-текстов, чтобы избежать ложных обвинений человека. То есть компромисс заложен изначально.

Почему запрещать бессмысленно, а вузы отстали на 5 лет

-3

А теперь самое неприятное: даже если детекторы работали бы идеально, есть три проблемы, которые делают всю систему порочной.

Проблема 1: Ложные срабатывания

Компании заявляют о частоте ложных срабатываний в 1-2%. Звучит мало? В США примерно 2,2 млн первокурсников. Если каждый пишет 10 эссе в год, это 22 млн работ. При 1% ложных срабатываний это 220 тысяч невиновных студентов, обвинённых в плагиате.

Реальная цифра, скорее всего, выше. В тестах Bloomberg два детектора (GPTZero и Copyleaks) показали ложные срабатывания в 1-2% на выборке из 500 эссе, написанных до появления ChatGPT. Но это контролируемый тест. В реальной жизни детекторы ошибаются чаще.

Последствия? Стресс, тревожность, потеря стипендий, отчисление. А потом, месяцы спустя, выясняется: «Извините, система ошиблась».

Проблема 2: Дискриминация

Вот где становится совсем мрачно. Исследования показывают: детекторы ИИ дискриминируют определённые группы студентов.

Иностранцы и неносители языка. Исследование из Стэнфорда (2023) показало: ИИ-детекторы непропорционально часто помечают тексты, написанные теми, для кого английский — второй язык. Почему? Потому что такие студенты часто используют более простые конструкции, избегают идиом, пишут более «формально». Это выглядит как ИИ.

Нейроразнообразные студенты. Люди с дислексией, СДВГ, аутизмом часто пишут с определённой ритмикой или структурой, которая тоже может вызвать подозрения детекторов.

Чернокожие студенты. Исследование Common Sense Media выявило: чёрных студентов чаще обвиняют учителя в использовании ИИ. Это не проблема самих детекторов (хотя алгоритмическая предвзятость тоже возможна), а проблема того, как их результаты интерпретируются.

В итоге получается: те, кто уже сталкивается с системными барьерами в образовании, получают дополнительный удар.

Проблема 3: Это недостижимая гонка

Профессор Сохейл Фейзи из Лаборатории надёжного ИИ при Университете Мэриленда провёл исследование и заключил: «На данный момент создать надёжный детектор ИИ невозможно. И по мере улучшения языковых моделей становится только сложнее».

Почему? Потому что распределения ИИ-текстов и человеческих текстов сходятся. Чем лучше становится ChatGPT, тем больше он пишет «как человек». Фейзи предлагает базовый уровень приемлемой ошибки для детекторов, которые используются для обвинения студентов: 0,01% ложных срабатываний. Ни один детектор близко не подходит к этому порогу.

Сам ChatGPT сейчас развивается быстрее, чем детекторы. GPT-4, GPT-4o, недавно вышедшая o1 — каждая версия генерирует более «человечный» текст. OpenAI даже экспериментирует с встроенными «водяными знаками», но пока не внедрил их широко.

И тут главный парадокс: чем лучше ИИ помогает людям, тем сложнее отличить его помощь от плагиата.

Что делать: от паники к новым правилам игры

-4

Итак, детекторы не работают идеально. Запрещать ИИ бессмысленно — студенты всё равно будут им пользоваться. Что остаётся?

Вариант 1: Признать поражение и менять систему оценки

Многие университеты уже пошли по этому пути. Университет Питтсбурга отключил детектор Turnitin из-за рисков ложных обвинений. Монтклерский университет (США) запретил преподавателям его использовать.

Университет Сиднея (Австралия) перешёл на новую систему: часть заданий — «AI-secure» (защищённые от ИИ), часть — «non-secure» (где ИИ разрешён). Защищённые — это устные экзамены, презентации, работы в аудитории под присмотром.

Юридический факультет Университетского колледжа Лондона (UCL) объявил: 50-100% оценок будут проходить в формате, защищённом от ИИ.

Логика простая: если мы не можем поймать ИИ, давайте создадим задания, где его использовать невозможно или бессмысленно.

Вариант 2: Интегрировать ИИ в процесс обучения

Другой подход: не бороться, а использовать. ChatGPT может быть полезен — для мозговых штурмов, черновиков, структурирования идей. Проблема начинается, когда студент сдаёт результат ИИ как свою работу.

Некоторые вузы уже переписывают правила:

  • ИИ можно использовать для подготовки, но не для финального текста.
  • Студенты должны раскрывать, какие части работы созданы с помощью ИИ.
  • Преподаватели учат критически оценивать выдачу ИИ, исправлять ошибки, добавлять свои идеи.

Это требует пересмотра всей системы. Вместо эссе «на 3000 слов о причинах Первой мировой» давать задания типа: «Попросите ChatGPT написать эссе о ПМВ, найдите в нём 5 фактических ошибок, объясните, почему они ошибочны, предложите улучшенную версию».

Вариант 3: Живое научное руководство

И вот тут появляется интересная ниша. Если вузы не могут гарантировать качество студенческих работ, а детекторы ненадёжны, студенты обращаются туда, где люди работают с людьми.

Например, наши друзья из PublishPro — платформа коммерческого научного руководства. Там принципиально не используют ИИ. Работают живые эксперты: научные руководители, редакторы, консультанты. Студент получает не готовую работу, сгенерированную ботом, а реальную помощь в структурировании, поиске источников, написании текста.

Это честная модель: да, ты платишь. Но ты работаешь с человеком, который направляет, учит, помогает думать — а не просто выдаёт текст по запросу. Детекторы ИИ тут бессильны, потому что текст действительно пишет человек (пусть и с помощью консультанта).

Парадокс: коммерческое научное руководство, которое когда-то считалось нечестным, сейчас может оказаться честнее, чем использование ChatGPT в тайне.

Итого:

Профессия «ловец ChatGPT» существует. Василий Громов и его коллеги действительно создают системы детекции. Но эта профессия похожа на ловца призраков: ты гоняешься за тем, что постоянно меняет форму.

90% курсовых пишутся ботами? Возможно, это преувеличение. Но даже если это 50% или 30% — система образования столкнулась с беспрецедентным кризисом. Детекторы не работают идеально, они дискриминируют уязвимые группы, их легко обойти.

Решение не в запретах. Решение — в радикальном пересмотре того, как мы оцениваем знания. Может быть, эссе на 3000 слов — это устаревший формат? Может быть, пора переходить к устным экзаменам, проектам, практическим задачам, где ИИ бесполезен?

А пока вузы думают, студенты пишут. Или не пишут. Или пишут вместе с ИИ. Кто знает? Даже детекторы не знают=)