ChatGPT не смог сдать медицинский экзамен USMLE: он набрал всего 52 балла из 60 необходимых

Группа энтузиастов из молодого медицинского стартапа Ansible Health решила проверить возможности нейросети ChatGPT, представляющей собой интеллектуального чат-бота, на одном из самых сложных медицинских экзаменов в США – USMLE (Medical Licensing Exam). Этот экзамен включает в себя широкий спектр вопросов, связанных как с фундаментальными знаниями, так и с более сложными парадоксами биоэтики, и для его подготовки требуется от 300 до 400 часов.Работа с нейросетью ChatGPT произвела на энтузиастов сильное впечатление. В ходе экзамена бот продемонстрировал свою способность логически аргументировать ответы и находить нужную информацию в почти безграничной базе данных, чтобы дать максимально развёрнутый ответ. Однако, несмотря на это, чат-бот не смог успешно пройти экзамен, набрав от 52 до 75 баллов при стандартном проходном балле в 60.Причина неудачи заключается в том, что в некоторых случаях ответы, предложенные ChatGPT, были не только неверными, но и могли иметь крайне опасные последствия, если бы они были использованы в реальной жизни. Это является хорошей новостью для медицинских работников, которые боятся потерять свои рабочие места из-за автоматизации, однако в других сферах ChatGPT продолжает проявлять себя весьма успешно. Например, продвинутый чат-бот спокойно справляется с задачами на собеседованиях в Google, а основатель Microsoft Билл Гейтс и глава компании NVIDIA Джен Хуанг считают ChatGPT одним из наиболее значимых и перспективных изобретений последних лет.