Большие языковые модели трансформируют научную письменность и издательское дело. Но повышение производительности, которое дают эти инструменты, может иметь и обратную сторону.
Автор Маккензи Прилламан
ChatGPT продолжает привлекать к себе внимание, спустя более года после его публичного дебюта.
Чат-бот с искусственным интеллектом (ИИ) был выпущен как бесплатный инструмент в ноябре 2022 года технологической компанией OpenAI в Сан-Франциско, Калифорния. Два месяца спустя ChatGPT уже был указан в качестве автора нескольких исследовательских работ.
Академические издатели поспешили объявить о политике использования ChatGPT и других больших языковых моделей (LLM) в процессе написания. К октябрю прошлого года 87 из 100 ведущих научных журналов предоставили авторам рекомендации по использованию генеративного искусственного интеллекта, который может создавать текст, изображения и другой контент, сообщили исследователи 31 января в The BMJ1.
Но это не единственный способ, которым ChatGPT и другие LLM начали менять научную письменность. В конкурентной среде академических кругов любой инструмент, который позволит исследователям «выпускать больше публикаций, будет очень привлекательным предложением», говорит исследователь цифровых инноваций Саввас Папаяннидис из Университета Ньюкасла в Ньюкасл-апон-Тайн, Великобритания.
Генеративный искусственный интеллект продолжает совершенствоваться, поэтому издатели, агентства, финансирующие гранты, и ученые должны задуматься о том, что представляет собой этическое использование LLM и что чрезмерная зависимость от этих инструментов говорит об исследовательском ландшафте, который поощряет гиперпродуктивность.
Регулярно ли ученые используют степень магистра права для написания статей?
До своего публичного выпуска ChatGPT не был таким удобным для пользователя, как сегодня, говорит ученый-компьютерщик Дебора Вебер-Вульф из Берлинского университета прикладных наук HTW. «Интерфейсы старых моделей GPT могли понравиться только ученому-компьютерщику».
В прошлом исследователям обычно требовался опыт для использования передовых программ LLM. Теперь «GPT в некоторой степени демократизировала это», — говорит Папаяннидис.
Эта демократизация стала катализатором использования программ LLM при написании исследований. В опросе Nature, проведенном в 2023 году среди более чем 1600 ученых, почти 30% заявили, что использовали инструменты генеративного искусственного интеллекта для написания рукописей, а около 15% заявили, что использовали их для написания заявок на гранты.
У LLM есть много других применений. Они могут помочь ученым писать коды, проводить мозговой штурм исследовательских идей и проводить обзоры литературы. Улучшаются также программы LLM от других разработчиков — например, Gemini от Google и Claude 2 от Anthropic, компании в области искусственного интеллекта из Сан-Франциско. Исследователи, обладающие необходимыми навыками, могут даже разработать свои собственные персонализированные программы LLM, точно адаптированные к их стилю письма и научной области, говорит Томас Ланкастер, ученый-компьютерщик из Имперского колледжа Лондона.
Каковы преимущества для исследователей?
Около 55% респондентов опроса Nature считают, что основным преимуществом генеративного ИИ является его способность редактировать и переводить тексты для исследователей, чей родной язык не английский. Аналогичным образом, согласно опросу, проведенному Европейским исследовательским советом (ERC), который финансирует исследования в Европейском Союзе, 75% из более чем 1000 получателей грантов ERC считают, что генеративный ИИ уменьшит языковые барьеры в исследованиях к 2030 году, согласно отчету, опубликованному в декабре 2030 году 2.
85% респондентов опроса ERC считают, что генеративный ИИ может выполнять повторяющиеся или трудоемкие задачи, такие как обзоры литературы. А 38% считали, что генеративный ИИ повысит производительность в науке, например, помогая исследователям писать статьи быстрее.
Каковы недостатки?
Хотя результаты ChatGPT могут быть убедительно похожи на человеческие, Вебер-Вульф предупреждает, что LLM все равно могут допускать языковые ошибки, которые могут заметить читатели. Это одна из причин, по которой она призывает исследователей признать использование LLM в своих статьях. Чат-боты также известны тем, что генерируют сфабрикованную информацию, называемую галлюцинациями.
И есть недостаток в повышении производительности, которое может принести LLM. Ускорение процесса написания статей может увеличить пропускную способность журналов, потенциально заставляя редакторов и рецензентов работать еще хуже, чем сейчас. «Из-за постоянно растущего числа статей (а их число растет с каждым годом) просто не хватает людей, чтобы продолжать проводить бесплатную рецензирование для издателей», — говорит Ланкастер. Он также отмечает, что наряду с исследователями, которые открыто используют LLM и признают это, некоторые незаметно используют эти инструменты для создания малоценных исследований.
По словам Папаяннидиса, уже сложно просмотреть море опубликованных статей в поисках значимых исследований. Если ChatGPT и другие LLM увеличат объемы производства, это окажется еще более сложной задачей.
«Нам нужно вернуться назад и посмотреть, какова система вознаграждений в академических кругах», — говорит Вебер-Вульф. Нынешняя модель «опубликуй или исчезни» вознаграждает исследователей за постоянную публикацию статей. Но многие люди утверждают, что необходимо перейти к системе, которая отдает приоритет качеству, а не количеству. Например, говорит Вебер-Вульф, Немецкий исследовательский фонд позволяет соискателям грантов включать в заявку только десять публикаций. «Вы захотите сосредоточить свою работу на получении действительно хороших статей высокого уровня», — говорит она.
Какую позицию занимают научные издатели в отношении использования LLM?
Согласно исследованию The BMJ, 24 из 100 крупнейших издательств мира, в совокупности ответственных за более чем 28 000 журналов, к октябрю прошлого года предоставили рекомендации по генеративному ИИ1. Журналы с политикой генеративного искусственного интеллекта, как правило, разрешают некоторое использование ChatGPT и других LLM, если они должным образом признаны.
Springer Nature, например, утверждает, что использование LLM должно быть задокументировано в методах или другом разделе рукописи — это рекомендация, представленная в январе 2023 года. Однако инструменты генеративного искусственного интеллекта не удовлетворяют критериям авторства, поскольку это «влечет за собой ответственность» за работу, а инструменты ИИ не могут взять на себя такую ответственность». (Новостная группа Nature независима в редакционном отношении от своего издателя Springer Nature.)
Легче сказать, чем сделать, чтобы обеспечить соблюдение этих правил, поскольку издателям и рецензентам может быть трудно обнаружить нераскрытый текст, созданный ИИ. Некоторые сыщики уловили это благодаря тонким фразам и неправильным переводам. В отличие от случаев плагиата, в которых имеется явный исходный материал, «вы не можете доказать, что что-либо было написано ИИ», — говорит Вебер-Вульф. Несмотря на то, что исследователи спешат создать инструменты обнаружения LLM, «мы не видели ни одного, который, по нашему мнению, дал бы достаточно убедительные результаты» для проверки материалов журналов, говорит Холден Торп, главный редактор семейства журналов Science.
А как насчет других вариантов использования?
По словам Торпа, хотя по состоянию на ноябрь Американская ассоциация содействия развитию науки, которая издает журнал «Наука», разрешает некоторое раскрытое использование генеративного ИИ при подготовке рукописей, она по-прежнему запрещает использование LLM во время рецензирования. Это потому, что он и другие сотрудники Science хотят, чтобы рецензенты уделяли все свое внимание оцениваемой рукописи, добавляет он. Аналогичным образом, политика Springer Nature запрещает рецензентам загружать рукописи в инструменты генеративного искусственного интеллекта.
Некоторые агентства, финансирующие гранты, в том числе Национальные институты здравоохранения США и Австралийский исследовательский совет, запрещают рецензентам использовать генеративный ИИ для рассмотрения заявок на гранты из-за опасений по поводу конфиденциальности (заявки на гранты рассматриваются как конфиденциальные документы, а данные вводятся в публичные LLM). могут быть доступны другим людям). Но Научный совет ERC, который управляет ERC, в декабре опубликовал заявление, в котором признал, что исследователи используют технологии искусственного интеллекта наряду с другими формами внешней помощи для подготовки заявок на гранты. В нем говорилось, что в этих случаях авторы все равно должны нести полную ответственность за свою работу.
«Многие организации сейчас выступают с весьма защитными заявлениями», требуя от авторов признать любое использование генеративного ИИ, — говорит член Научного совета ERC Том Хенцингер, ученый-компьютерщик из Австрийского института науки и технологий в Клостернойбурге.
По его мнению, использование ChatGPT ничем не отличается от отправки текста коллегой для получения обратной связи. «Используйте все имеющиеся в вашем распоряжении ресурсы», — говорит Хензингер.
По словам Ланкастера, независимо от постоянно меняющихся правил, касающихся генеративного ИИ, исследователи будут продолжать его использовать. «Невозможно контролировать использование таких технологий, как ChatGPT».
DOI: https://doi.org/10.1038/d41586-024-00592-w
Ссылки на цитируемую литературу
- Ганджеви, К. и др. BMJ 384, e077192 (2024 г.).
- ERC. Форсайт: использование и влияние искусственного интеллекта в научном процессе (Европейский исследовательский совет, 2023 г.).