Неожиданное открытие, которое меняет правила игры в мире искусственного интеллекта.
СЕМЁН СЕРГЕЕВ
Международная команда исследователей, включая специалистов из Университета Мэриленда и Microsoft, провела масштабное тестирование ведущих больших языковых моделей (БЯМ), таких как Gemini 1.5 Flash, Llama 3 и других. Они оценили, насколько хорошо ИИ справляется с длинными текстами и сложными задачами, используя новый многоязычный бенчмарк OneRuler. Итоги ошеломили экспертов: польский язык показал наивысшую точность, обойдя даже общепризнанный лидер - английский, который занял лишь шестое место, пишет издание "Вятка-на-сети".
Русский язык в тестах также обошел английский с заметным преимуществом.
Польский - секретный язык ИИ?
В ходе испытаний, охвативших 26 языков (от русского и украинского до японского и суахили), польский язык продемонстрировал впечатляющие 88% точности выполнения команд, особенно при работе с объёмным контекстом (до 128 тысяч токенов). В то время как по мере увеличения длины текста разрыв между языками увеличивался, польский стабильно оставался в лидерах.
В чем причина такого феномена?
Ученые предполагают, что дело не в особенной структуре польского языка, а в дисбалансе обучающих данных. Вероятно, польский язык был представлен в тренировочных корпусах нейросетей непропорционально широко, что и обеспечило ему неожиданное преимущество в тестах.
Шутки и серьёзные выводы
Новость моментально взорвала профессиональные круги и социальные сети. Пользователи уже в шутку предлагают массово изучать польский, чтобы "договариваться" с искусственным интеллектом максимально эффективно.
Тем не менее, эксперты выносят серьезный вердикт разработчикам: необходимо срочно обратить внимание на сбалансированность языковых данных. Это критически важно, чтобы обеспечить равнокачественную и надёжную работу ИИ на любом языке. Исследование также выявило, что точность может падать на 20% в так называемых кросс-языковых сценариях, когда инструкция и текст написаны на разных языках.
Новый бенчмарк OneRuler - это мощный стимул для разработчиков улучшить свои подходы к обучению мультиязычных моделей, чтобы ИИ мог одинаково уверенно работать с документами на русском, английском, польском и любом другом языке мира.