Группа энтузиастов из стартапа Ansible Health протестировала нейросеть ChatGPT одним из самых сложных экзаменов в США — USMLE (Medical Licensing Exam). Список вопросов, подготовка к которым занимает у людей в среднем 300–400 часов, варьируется от фундаментальных медицинских знаний до парадоксов биоэтики.
Энтузиастов восхитило, что во время экзамена ChatGPT продемонстрировал гениальную способность выстраивать логические цепочки для обоснования своих ответов, а по косвенным признакам ему удавалось найти в базе необходимую информацию, чтобы дать развёрнутый ответ. Несмотря на всё это, чат-бот всё же завалил экзамен. Его показатель успеха варьировался от 52% до 75% при стандарте в 60%.
Дело в том, что в некоторых случаях решения ChatGPT были не только заведомо абсурдными, но и могли привести к фатальному исходу, если бы их воплотили в жизнь. Так что это хорошая новость для медработников, которые опасаются сокращения. А вот в других сферах нейросеть показывает себя куда лучше. Например, она спокойно проходит собеседование в Google, а основатель Microsoft и глава NVIDIA считают ChatGPT одним из важнейших изобретений за последние годы.
