Статья подготовлена изданием Лаборант - журнал об аналитической химии. Подписывайтесь так же на нашу научную папку в телеграм.
Новое исследование, опубликованное в Nature Human Behavior, показало, что крупные языковые модели (LLM) более точно предсказывают результаты нейронаучных исследований, чем эксперты-люди.
"С появлением генеративного ИИ, подобного ChatGPT, многие исследования сосредоточились на способности языковых моделей отвечать на вопросы, демонстрируя их замечательное умение обобщать знания из обширных тренировочных данных", - сообщил ведущий автор исследования, доктор Кен Луо из Университетского колледжа Лондона.
"Однако вместо акцента на их способности извлекать прошлую информацию, мы исследовали возможность LLM синтезировать знания для предсказания будущих результатов", - добавил он.
Для исследования ученые разработали инструмент BrainBench для оценки способности LLM предсказывать результаты в нейронауке. BrainBench содержит пары аннотаций нейронаучных исследований в пяти областях, включая поведенческие/когнитивные исследования, системы/цепи и нейробиологию заболеваний.
Каждая пара аннотаций идентична в плане предпосылок и методов, но различается результатами. Одна аннотация содержит реальные результаты исследования, другая - правдоподобные, но ложные результаты, составленные экспертами.
Исследователи протестировали 15 универсальных LLM и 171 эксперта в области нейронауки с помощью BrainBench. В итоге ИИ превзошел экспертов-людей: средняя точность LLM составила 81% против 63% у нейроученых.
LLM продолжали превосходить людей даже при сравнении с экспертами, имеющими наивысший уровень самооценки экспертизы в каждой области нейронауки. Как и у людей-экспертов, более уверенные решения LLM чаще оказывались верными.
Исследователи также протестировали новую модель BrainGPT, настроенную на нейронаучной литературе. Эта модель оказалась эффективнее универсальных LLM, достигнув точности 86%.
"Учитывая наши результаты, мы предполагаем, что скоро ученые будут использовать инструменты ИИ для разработки наиболее эффективных экспериментов", - отметил профессор Брэдли Лав, соавтор исследования.
Лав подчеркнул, что хотя подход был сосредоточен на нейронауке, он универсален и применим к другим областям науки. Доктор Луо добавил, что исследователи сейчас разрабатывают инструменты ИИ для помощи ученым.
"Мы представляем будущее, где исследователи смогут вводить свои предлагаемые дизайны экспериментов и ожидаемые результаты, а ИИ будет предсказывать вероятность различных исходов. Это позволит быстрее итерировать и принимать более информированные решения при планировании экспериментов", - заключил он.
Источники:
Статья подготовлена изданием Лаборант - журнал об аналитической химии. Подписывайтесь так же на нашу научную папку в телеграм.