В четверг ИИ выдал мне ссылку на исследование MIT 2023 года про эффект утренних уведомлений на дофаминовую систему. Я обрадовалась, заскрин послала клиенту, уже думала вставлять в его презентацию. Потом всё-таки решила погуглить сама. Такого исследования нет. Авторы нашлись, оба живые, оба действительно работают в MIT, но статью с таким заголовком они никогда не писали. Самое противное, что в первую секунду я поверила. И уже на этой вере собиралась строить чужой проект.
За год работы с моделями я научилась ловить такие моменты раньше. Собрала пять признаков, по которым теперь сразу настораживаюсь. Не идеальная система, иногда всё равно проскакивает. Но процент брака сильно меньше чем был в начале.
1. Ссылки на исследования которые невозможно нагуглить. Если модель называет конкретную статью, конкретного автора, конкретный год, я первым делом ищу её в поиске. В половине случаев такой статьи нет, либо есть, но совсем про другое. Особенно подозрительны ссылки на старые работы 2018-2020 годов с очень специфичными цифрами. Модель собирает их из обрывков нескольких реальных, и получается фантом, который выглядит как настоящая работа.
2. Слишком уверенный тон по теме где должна быть осторожность. Спрашиваю про дозировку, про юридические сроки, про конкретный налоговый случай, и модель отвечает без оговорок. Реальный эксперт всегда оговаривается, что зависит от региона, от ситуации, от свежести данных. Если ИИ отвечает таким же тоном, как на вопрос про столицу Франции, это маркер. Под капотом нет реальной экспертизы, есть только усреднённое представление о том, как такие ответы должны звучать.
3. Внезапная смена фактуры без причины. Это самое коварное. Полтора абзаца ИИ пишет в одном стиле и с одной логикой, потом резко переключается. Шёл разговор про маркетинг, и вдруг внутри ответа появляются термины из медицины или права. Или меняется год событий. Или герой истории становится женщиной, хотя был мужчиной. Это значит, что модель потеряла нить и начала сшивать ответ из другого контекста, не заметив шва.
4. Идеально круглые цифры в статистике. Когда мне говорят, что 70 процентов людей, или 50 процентов компаний, или 30 процентов пользователей, я останавливаюсь. Реальные исследования почти никогда не дают такие ровные числа. Там 67 процентов, 51, 28. Если в одном абзаце четыре цифры подряд кратные пяти или десяти, это почти наверняка генерация. Настоящая статистика выглядит грязно, у неё всегда есть остаток.
5. Ответ на вопрос который ты не задавала. Спрашиваю одно, ИИ отвечает на похожий, но другой вопрос. Или добавляет к ответу пять пунктов, которые я не просила. Это значит, моя формулировка слишком напомнила модели тренировочный паттерн, и она пошла по нему, вместо того чтобы услышать меня. Сначала я думала, что это полезно, экономит время. Потом поняла, что это прямой путь получить красивый ответ не на свой вопрос.
Что я с этим делаю теперь. На фактчек уходит больше времени, чем экономит сама генерация. Но иначе никак, риск выпустить в работу выдуманный факт слишком высок. Особенно если речь про чужой проект или про то, что пойдёт публично.
Может быть, у вас есть свои маркеры. Я уверена, что упустила половину. Каждая модель галлюцинирует немного по-своему, и универсального детектора пока не существует.
#искусственныйинтеллект #нейросети #ии #ChatGPT #продуктивность