Найти в Дзене
Сергей Чумаков

Выявил лишь 16% ошибок: исследование показало реальные возможности ChatGPT в науке

В последние годы вокруг нейросетей поднялась нешуточная шумиха — этот относительно новый, но несовершенный инструмент считают чуть ли не универсальным средством, которое заменит айтишников, врачей и учёных. Недавнее исследование, проведённое специалистами из Университета штата Вашингтон, показало — самая модная западная нейросеть ChatGPT не справилась с оценкой научных гипотез. В рамках эксперимента нейросети предлагались формулировки из 700 научных работ разной тематики, а затем 10 раз задавали один и тот же вопрос — это позволило проверить, насколько ChatGPT устойчиво анализирует информацию и делает выводы. Оказалось, что нейросеть способна распознать лишь около 16% из неверных гипотез и суждений, ошибочность которых была очевидна специалистам. Кроме того, в большинстве случаев на один и тот же вопрос, заданный несколько раз, ChatGPT не мог дать однозначный и непротиворечивый ответ. Подобные эксперименты не только показывают несовершенство нейросетей в решении сложных задач, что оч

В последние годы вокруг нейросетей поднялась нешуточная шумиха — этот относительно новый, но несовершенный инструмент считают чуть ли не универсальным средством, которое заменит айтишников, врачей и учёных. Недавнее исследование, проведённое специалистами из Университета штата Вашингтон, показало — самая модная западная нейросеть ChatGPT не справилась с оценкой научных гипотез.

В рамках эксперимента нейросети предлагались формулировки из 700 научных работ разной тематики, а затем 10 раз задавали один и тот же вопрос — это позволило проверить, насколько ChatGPT устойчиво анализирует информацию и делает выводы. Оказалось, что нейросеть способна распознать лишь около 16% из неверных гипотез и суждений, ошибочность которых была очевидна специалистам. Кроме того, в большинстве случаев на один и тот же вопрос, заданный несколько раз, ChatGPT не мог дать однозначный и непротиворечивый ответ.

Подобные эксперименты не только показывают несовершенство нейросетей в решении сложных задач, что очевидно исходя из их устройства, но и ставит точку в вопросе замены искусственным интеллектом ряда важных специальностей. Нейросеть способна встать на место тех, кто работает над рутинными задачами по шаблону, но никогда не сможет сравниться по возможностям с людьми подлинно умственного труда и уж конечно, физического. Искусственный интеллект станет помощником учёного, врача или преподавателя, но никогда их не вытеснит с рынка труда.

Наука
7 млн интересуются