Мои маленькие любители нейросетей сегодня страдали, ибо преподаватель их – ведьма злая – не дает решать задачки нейросетями, выявляет ИИ-контент и заставляет думать головой. Поэтому сегодня на семинаре у них был новый тип заданий….
Если честно, масштаб использования нейросетей для решения задач и прочих заданий у этого второго курса просто зашкаливает. Именно они в прошлый год решали коллеге задачки «Русской Правде» со ссылками на Гражданский кодекс РФ и их ничего не смущало. И сейчас – щелкнуть задачку в любою нейросеть и тут же с телефона зачитывать решение... Рассчитано на слепо-глухо-немого преподавателя, отсутствующего на паре?
Основная проблема не в том, что они пользуются ИИ в учебных целях (здесь при грамотном подходе скорое плюсы), а в том что они используют его как «тухлый ИИ» - для получения готового ответа – и не проверяют результат. Как мне сказала одна красота сегодня, хлопая ресничками: «А что, ИИ может врать?».
У меня и в прошлый год были кейсы для проверки задач, решенных ИИ, но они были точечные. Вчера же решали в каждой группе.
Все просто: берете любую свою задачу, особенно сказочный результат получается в тех, где есть относительно недавние изменения в законодательстве, или правовые позиции Конституционного или Верховного суда, существенно уточняющие решение спора. Скармливаете задачу любой текстовой нейросети, копируете решение в файл, придумываете небольшую историю по типу «Один нерадивый студент решил задачу с помощью такой-то нейросети… помогите проверить результат» и раздаете для проверки.
Оговорюсь, что иногда юридические задачки решаются очень неплохо (и все лучше и лучше, если сравнивать с годом назад), значит надо пойти в другую модель и попробовать там. Однако, в этот раз у меня с первого раза два китайских лидера индустрии такого наворотили в элементарных задачах, что волосы на голове зашевелились: «Как можно настолько убедительно писать полнейшую чушь?».
А дальше ребята проверяли по схеме:
- правильно ли и в полном объеме выявлены юридические факты;
- верно ли определен источник права, точна ли ссылка, действует ли НПА вообще,
- верно ли приводится текст источника в обосновании,
- верно ли соотнесены факты и нормативные положения,
- логичность и последовательность выводов. А если нейросеть врала (а она врала чуть ли не в каждом предложении) – искали правильный ответ.
Вот мы и выяснили, что в одной элементарной задаче нейросеть:
- дала неверную ссылку на пункт статьи Конституции (хотя и процитировала верно);
- «подогнала» содержание статьи под условие задачи;
- придумала новую статью в Конституции и потом соврала, что она была исключена поправками в 2020 году;
- решала задачу по закону, который 3.5 года как утратил силу и пришла к верному ответу в целом только потому, что в новом законе этот институт дублируется.
А во второй задаче, которая элементарно решается по одной статье Конституции, зачем-то полезла в смежный закон, обосновала ответ его недействующей редакцией со ссылкой на придуманный номер статьи и дала в корне не верный ответ. Очень показательно получилось: вместо 5 минут на решение задачи мы 15 минут проверяли ответ нейросети. И все это под мои едкие комментарии моим чутким руководством.
Что дает такая работа?
Во-первых, чтоб проверить решение задачи, надо ее таки решить, поэтому все навыки, тренируемые решением задач, мы все-таки отрабатываем.
Во-вторых, представление о том, что простейший промт для ленивого решения дает сомнительный результат и нейросеть очень уверенно врет, лишь бы дать пользователю хоть что-то.
В-третьих, что любой результат надо проверять, ибо ответственность несет человек, а не ИИ. А чтоб проверить результат, нужно овладеть навыком (анализа ситуаций, работы с НПА и проч.), решив для это сотни разных задач. И только потом появляется вот это вот «нутром чую, врет, надо проверить»….
И кстати, неожиданно у нас получилось ИИ-устойчивое задание: после сфотографировали решение одной нейросети, отправили для проверки в другую, та , разумеется, покритиковала конкурента по мелочам, но существенные ошибки не нашла и еще три короба сверху наврала 😊
Итак, у нас теперь новый тип практических заданий под кодовым названием «НаИИчено». К слову, деткам не понравилось: долго, муторно, думать опять же надо. Но им были обещаны такие развлечения каждый раз, когда их токсичный преподаватель уловит хоть намек на непроверенное ИИ-решение.