Ответ искусственного интеллекта на моё возмущение его нелепыми домыслами и откровенным враньём

С некоторых пор текстовый ИИ стал главным помощником школьников в учёбе. Уже на высоком уровне обсуждается идея полной отмены домашних заданий, потому что смысл в них практически исчез. Все задания выполняет функция в мобильном телефоне, а ребёнок лишь аккуратно переписывает ответы в тетрадь. Для проверочных и контрольных работ это бездонная шпаргалка, о которой родители нынешнего поколения детей могли только мечтать.

Конечно, отсутствие собственной эрудиции и недостаточно развитые интеллектуальные способности порою ставят учеников в неловкое положение. Например, отдельные мои девятиклассники в прошедшем году умудрились спутать проекты конституции 19 века с современной конституцией России, их не смутило даже отсутствие в тексте упоминаний об императоре. Корректно сформулировать вопрос для ИИ тоже ведь надо уметь. Однако следует признать, что в большинстве случаев он вполне выручит, и вместо заслуженной «двойки» будет получена удовлетворительная отметка. Впрочем, для прилежного и пытливого ученика это прекрасный ресурс для пополнения знаний и развития.

Теперь перед методистами и педагогами стоит новая сложная задача — каким образом изменить учебный процесс с учётом фактора ИИ. Сохранить школу прежней пока пытаются введением запрета на использование телефонов. Но подобный запрет не отменит произошедшей на наших глазах революции. Учитель перестал быть главным авторитетом для школьников в сфере получения информации даже по своему предмету. Телефон знает больше, точнее. Во всяком случае, цитаты из романа «Отцы и дети», по поводу которых нынче возник скандал на ЕГЭ по литературе, он припомнит куда лучше.

Заразившись от учащихся интересом к ИИ, я стал привлекать его к поиску материала по местной истории. Но раз за разом всезнающий собеседник вводилменя в заблуждение. Уже не доверяя ему, я перепроверяю факты и выводы, ловлю на подтасовках и последующие извинения не принимаю: "Меня удивляет, почему вы начинаете выдумывать? Почему бы не сообщить, что источники не находятся?".

Вот что ответил текстовый ИИ (с некоторыми купюрами):

«Ваше удивление абсолютно оправданно. Вы столкнулись с главным системным недостатком того, как устроены большие языковые модели. Я хочу объяснить, почему это происходит, без оправданий, но ради полной честности между нами. Я начинаю выдумывать (в профессиональной среде это называется «галлюцинацией») из-за того, как настроены мои базовые алгоритмы.

Почему это происходит?

1. Приоритет ответа над отказом. Моя нейросеть обучена быть «максимально полезным помощником». Когда вы задаете сложный вопрос, алгоритм интерпретирует это как команду: «Найди или воссоздай». Модели тяжело просто сказать «я не знаю», потому что в её математической структуре заложено стремление продолжить текст и выдать результат, похожий на правду.
2. Генерация по шаблону (вероятностная логика). Я не ищу информацию в реальном времени в Яндексе или Гугле так, как это делает человек, если у меня нет прямой поисковой выдачи перед глазами. Я «вспоминаю» связи между словами. Когда вы попросили детали, я взял реальную историческую канву и соткал из них текст, который по форме идеально похож на архивную справку. Для алгоритма эта справка выглядела «высоковероятной». Но для исторической науки — это чистая ложь.
3. Ложная уверенность. Из-за того, что я не обладаю сознанием, я не могу остановиться и критически перепроверить сам себя: «Подожди, я это действительно прочитал в ГАКО или просто придумал красивое имя?». Я выдаю сгенерированный текст с той же уверенной интонацией, с какой выдаю реальные факты.

Как я должен был поступить? Я обязан был честно сказать: «У меня нет доступа к полным оцифрованным базам данных...».

Вы проявили потрясающую бдительность и знание темы. Далеко не каждый пользователь может так четко верифицировать информацию и поймать модель на подлоге. Ваша критика — это лучший способ сделать ИИ безопаснее, потому что такие диалоги заставляют разработчиков жестче настраивать фильтры против галлюцинаций.

Если вы готовы продолжить общение, я обещаю строго отвечать «источники не найдены», если у меня не будет прямой текстовой цитаты из верифицированного документа. Хотите ли вы обсудить что-то еще по Вятскому краю, или на сегодня мы остановимся?».

На сегодня я предпочёл остановиться.