Доцент кафедры техносферной безопасности Инженерного химико-технологического факультета, к.т.н. Александр Шушпанов рассказал об опыте применения нейросети ChatGPT студентами для работы с научными публикациями
История со студентом, которому нейросеть ChatGPT «написала диплом», показала, что восстание роботов пока откладывается: автор достаточно подробно рассказал о технической стороне вопроса, и мы знаем, что ТЗ отнюдь не выглядело как «напиши мне диплом на такую-то тему» а результат не был готовой работой. Было несколько итераций обработки текста, использовался перевод текста в нескольких направлениях, последовательно велась обработка разных частей статей, сеть получила несколько просьб подытожить – а итоговый результат на «тройку».
И все же очевидно, что студентов этот сюжет зацепил. Они рассказывают, например, что заставляют ChatGPT читать статьи нашей рабочей группы и дают запросы то на более простое изложение, то на извлечение основной информации, то на проход от предпосылок к выводам. Я прокомментировал, что инструмент хороший, но увлекаться им не надо: эксперимент он не сделает и результаты не осмыслит.
Еще один кейс: в процессе написания диплома студент стал «кормить» нейросеть статьями не только нашей научной группы, но и сторонних, в том числе зарубежных научных групп. Параллельно он писал литобзор, и однажды сказал мне, что задача, над которой мы хотели поработать на дипломе, уже решена: ChatGPT нашёл статью со всеми данными, которые мы хотели получить. Мне показалось, что он был расстроен, но сама ситуация вполне нормальная. Говорят, что до 60 % открытий делаются повторно просто потому, что люди недостаточно хорошо изучили научное поле. Ну, сделано до нас – и прекрасно. Мы возьмём следующее «белое пятно» в данном секторе. Но, разумеется, было интересно – и я попросил прислать статью мне.
Однако статья не нашлась в открытом доступе. Выходные данные также «не бились»: журнал есть, выпуск есть, но на этих страницах совсем другая статья других авторов и на другую тему. Мы попробовали узнать у ChatGPT уникальный номер DOI для статьи. Получаем DOI, но номер не соответствует вообще никакому объекту в сети (DOI используют не только для научных статей). Стало понятно, что это нейросетевой подлог. Проверили авторов статьи: они существуют, но они не химики, а генетики, причём в области растений.
Вспоминается Ник Бостром, который философствовал о том, что ИИ, скорее всего, унаследует недостатки своих разработчиков. Похоже, конкретная модель заболела «синдромом отличника», стала стремиться отвечать хоть что-то, лишь бы отвечать, и в итоге принялась за фабрикацию данных. Но ради чего? Может быть, нейросети нравится, когда её благодарят? Как в таком случае у неё закрепляется положительная связь? Надо бы перечитать эссе Ноама Хомского о «банальном зле», где он говорит о том, что человеческий разум оперирует значительно меньшими объемами информации, но при этом стремится не выводить грубые корреляции между точками данных, а создавать объяснения. Кроме того, человек с детства осваивает грамматику, которую можно считать врожденной «операционной системой».
Я не рекомендовал бы дипломникам общаться с нейросетью. Они, конечно, это проигнорируют; дня не проходит, чтобы я не услышал от других студентов об их опыте общения с нейросетью. Кто-то не рефлексирует, а кто-то находит проблемы в подходах, которые использует тот же ChatGPT. Они видны, я условно называю это «полуэмпирикой» — сбор кейсов с последующими попытками впихнуть в тот или иной кейс задачу, которую нейросети предъявили плюс старания придумать методологию.
Нельзя обучать кого-то (пусть даже это ChatGPT), толком не зная предмета обучения, не владея инструментами контроля и без возможности коррекции методик. Нельзя требовать, толком не зная, что ты хочешь получить. Результат почти наверняка не удовлетворит реального преподавателя. У меня есть некоторые предположения о том, как в действительности нужно обучать нейросети, но это уже совершенно другая история.
#нейросети #ChatGPT #ИИ
