Алгоритм DeBERTa, разработанный корпорацией Microsoft, при тестировании на понимание естественного языка показал более высокие результаты, чем человек. Для тестирования использовался бенчмарк SuperGLUE. Конечно, алгоритм превзошел своего «биологического» соперника без существенного опережения, получив 90.3 балла против 89.8, однако это серьезный результат для искусственного интеллекта.
Как проходило тестирование
Для оценки способностей ИИ-модели использовался бенчмарк SuperGLUE, состоящий из 8 задач на восприятие структуры представленного текста, контекстуальных и причинно-следственных связей. Помимо прочего, алгоритму также пришлось отвечать на задаваемые по изученному абзацу вопросы, и определять, верно ли применялось многозначное слово в существующем контексте.
Сам бенчмарк был представлен в 2019 году — и тогда даже самый умный ИИ набирал на 20 баллов меньше, чем человек. А значит, что специалистам Microsoft всего за неполных два года удалось сделать так, чтобы ИИ не просто сравнялся с человеком, но и даже немного опередил его.
DeBERTa — не единственный алгоритм, которому удалось опередить человека в понимании естественного языка. Вторую строчку рейтинга по результатам прохождения тестов SuperGLUE занял ИИ от Google — T5 + Meena. Модель набрала 90.2 балла.
Стоит понимать, что такие результаты совершенно ничего не говорят о превосходстве машин над человеком — до этого еще невероятно далеко. Однако у Microsoft уже есть представление о том, как использовать возможности DeBERTa. По предварительным данным, ИИ будет интегрирован в следующую версию модели Microsoft Turing.
Понравилась статья? Тогда ставьте лайк и подписывайтесь на канал, чтобы не пропускать новые выпуски!
