Китайская Baidu устроила красивый заход в гонку больших ИИ-моделей и представила ERNIE 5.1 – систему, которая умудряется работать всего на 6% вычислительных затрат по сравнению с рядом конкурентов. При этом модель спокойно держится рядом с топовыми мировыми ИИ и уже забралась на 4 место в рейтинге Arena Search с результатом 1223 балла. Среди китайских моделей новинка вообще вышла в лидеры. ERNIE 5.1 выросла из архитектуры ERNIE 5.0, которая насчитывала 2,4 трлн параметров. В новой версии разработчики радикально сократили размеры системы. Общее число параметров уменьшилось примерно до трети, а активная часть модели сократилась почти в 2 раза. При этом в Baidu уверяют, что качество почти не пострадало. Модель всё ещё уверенно работает с логикой, поиском информации и задачами ИИ-агентов.
Самое любопытное происходит внутри архитектуры. Baidu использует систему так называемого «эластичного обучения». Если упростить, нейросеть больше не тащит весь гигантский мозг на каждый запрос подряд.
Она