Выяснилось, что языковые модели, которые составляют основу чат-ботов, вне зависимости от того, на каком языке они работают, в любом случае будут «думать» по-английски. Так утверждают исследователи Федеральной политехнической школы Лозанны (École polytechnique fédérale de Lausanne) в Швейцарии.
Ученые рассмотрели несколько версий Llama 2 от Meta (признана экстремистской и запрещена в РФ). Особенность конкретной модели заключается в открытом исходном коде, что позволяет исследовать каждую деталь и ознакомиться с ними тщательнее.
Один из авторов исследования рассказал, что группой были изучены все слои языковой модели: каждый выполняет определенную функцию и контролирует процессы, происходящие при запросе.
Каждому боту предоставили несколько запросов на разных языках: на китайском, русском, английском, немецком и французском. К примеру, искусственный интеллект должен был повторить слово, перевести слово или заполнить пропуск в предложении словом, подходящим по смыслу.
Исследование каждого слоя показало, что в абсолютном большинстве случаев модель «проносит» запросы через «английское подпространство». В подпространстве модель переводит запросы на английский, чтобы лучше понимать запрос. Например, если попросить чат-бота перевести фразу с французского на немецкий, сперва модель переведет каждый этап на английский.
Ученые, проводящие исследование, выразили обеспокоенность: доминирование английского языка в системах искусственного интеллекта может привести к тому, что восприятие других регионов, культур и языков будет искажено. Карисса Велиз, профессор Оксфорда и известный философ, утверждает, что если английский станет единственным способом, с помощью которого будет работать искусственный интеллект, то человечество может потерять культурные нюансы других языков.
Алия Бхатия, аналитик Центра демократии и технологий в Вашингтоне (Center for Democracy & Technology), дополняет, что таким образом могут образовываться «культурно нерелевантные галлюцинации».