Последнее обновление подготовленной версии браузера Opera добавляет способность загружать и запускать мощные большие языковые модели (LLM) на персональных компьютерах пользователей. Интеллектуальный алгоритм работает локально, не требуя отправки данных на внешние "серверы искусственного интеллекта", и, как утверждает компания-разработчик программного обеспечения, направлен на обеспечение конфиденциальности пользователей.
Согласно Opera One Developer, это первый браузер, который предоставляет встроенную поддержку локальных LLM. По программе AI Feature Drops браузер Opera внедряет экспериментальную поддержку 150 алгоритмов LLM (в их локальных вариациях), принадлежащих примерно к 50 различным семействам моделей искусственного интеллекта.
LLM доступны и управляемы через привычный интерфейс браузера и включают в себя множество известных имен в области ИИ, таких как Llama (Meta), Vicuna, Gemma (Google), Mixtral (Mistral AI) и другие. Opera подчеркивает, что при локальном ограничении языковых моделей данные хранятся на самой станции пользователя без необходимости передавать какую-либо информацию на удаленный сервер.
Программа AI Feature Drops позволяет любителям браузера на базе Chromium тестировать ранние версии новых функций, которые разрабатывает Opera. Компания утверждает, что локальная версия LLM настолько передовая, что даже может "сломаться". В любом случае экспериментировать интересно, даже несмотря на то, что запуск локального LLM потребует некоторых существенных затрат на место для хранения.
Языковые модели для чат-ботов с искусственным интеллектом обычно являются крупными по объему данных, и Opera предупреждает о таких требованиях. Каждая LLM, вероятно, будет занимать от 2 до 10 гигабайт локальной памяти, в то время как большая модель, например, Megadolphin, потребует загрузки целых 67 гигабайт. Локальные LLM также могут быть "значительно медленнее" по сравнению с удаленными сервисами, поскольку они не могут использовать инфраструктуру серверов искусственного интеллекта. Производительность будет зависеть от вычислительных возможностей оборудования пользователя.