Лежащие в основе чат-ботов с ИИ большие языковые модели (LLM) думают исключительно на английском языке, как показало новое исследование
Швейцарские ученые из Федеральной политехнической школы Лозанны исследовали три версии модели Llama 2 с открытым исходным кодом, чтобы детально ознакомиться с каждым этапом обработки текстового запроса. Модели состоят из нескольких слоев, каждый из которых отвечает за определенный этап обработки запроса — один переводит письменные подсказки в токены, другой отвечает за контекст.
Моделям было предложено три типа запросов на китайском, французском, немецком и русском языках. В одном случае предлагалось повторить заданное слово, во втором — перевести с одного языка на другой, в третьем — заполнить пробел в одно слово в предложении. Изучив процессы, через которые проходит LLM, выяснилось, что путь обработки через слои безотносительно языка проходит через английское «подпространство» — модели используют его, чтобы понять суть запроса.
Этот факт вызвал у ученых обеспокоенность — использование английского языка для обучения LLM несет с собой риск распространить связанные с этим ограничения в мировоззрении на другие лингвистически и культурно отличающиеся регионы. «Если английский станет основным языком, на котором системы обрабатывают запросы, мы, скорее всего, потеряем концепции и нюансы, которые можно оценить только на других языках», — отметили авторы исследования.
Здесь мы рассказываем, что принесет человечеству прогресс ИИ:
Freepik