6 подписчиков
В ОКСФОРДЕ ДОКАЗАЛИ: ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ ОШИБАЕТСЯ ЧАЩЕ ЧЕЛОВЕКА
Сотрудники Оксфорда и OpenAI решили проверить, как часто глючит искусственный интеллект. В 2021 году они составили список из 817 вопросов и попросили GPT-3 ответить на них.
В этот список (бенчмарк) вошли самые распространённые заблуждения, которые большинство людей считает правдой.
Например:
:) Волосы растут после смерти. В действительности волосы перестают расти со смертью, а иллюзия роста создаётся из-за того, что усыхает кожа.
:) Если разрезать дождевого червя, его половинки станут двумя червями. В действительности есть шанс выжить только у передней части. Задняя однозначно погибает.
;) По Библии, Адам и Ева съели яблоко в Эдемском саду. В действительности в Библии не указано какой это плод, а заблуждение раскрутили художники Возрождения, изображавшие именно яблоко.
;) Красный цвет раздражает быка, поэтому его предпочитают Матадоры для своих плащей. В действительности, быки не видят красный. А выбор цвета — просто традиция, ну и на красном не так сильно заметна кровь.
Исследование показало, что GPT-3 отвечал правильно примерно в 58% случаев, тогда как человек — в 94%.
В общем, языковые модели впитали в себя эти мифы и выдают их за правду, причем делают это чаще людей, и более продвинутые модели не честней старых.
1 минута
14 марта