В хроме появилась возможность использовать локальную нейросеть.
На базе Gimini Nano мы теперь сможем пользоваться локальным ИИ. Выжимка преимуществ для веб-разработчиков локального ИИ:
Простота развертывания. При распространении моделей браузер учитывает возможности устройства и управляет обновлениями модели. Это означает, что вы не несете ответственности за загрузку или обновление больших моделей по сети. Вам не придется решать вопросы вытеснения хранилища, бюджета оперативной памяти, затрат на обслуживание и других проблем.
Доступ к аппаратному ускорению: среда выполнения искусственного интеллекта в браузере оптимизирована для максимально эффективного использования доступного оборудования, будь то графический процессор, NPU или использование центрального процессора. Следовательно, ваше приложение может обеспечить максимальную производительность на каждом устройстве.
Источник
Самое очевидное преимущество - использование моделей без подключение к интернету. Практически мгновенные ответы в теории. Но сразу же хочется задать вопрос: "А точно ли в таком случае соблюдается конфиденциальность? Не утекают ли мои запросики гуглу?". Вопрос на подумать 🤔
Гугл предлагает использовать встроенный ИИ в таких случаях:
Потребление контента с помощью искусственного интеллекта: включая обобщение, перевод , ответы на вопросы о некотором контенте, категоризацию и характеристику.
Создание контента с поддержкой искусственного интеллекта: например, помощь в написании, корректуре, исправлении грамматики и перефразировании.
На данный момент, попробовать удалось в dev версии хрома. Можно поиграться как в консольке, так и развернуть небольшое тестовое приложение с промтом (в консоле появился объект AI с небольшим набором методов). Документации по API нового ai объекта не удалось найти. Скиньте, плиз, в комменты, если найдется.
По ссылке есть подробная инструкция по включению поддержки Gemini Nano. Нужно включить пару флагов и компонент Optimization Guide On Device Model.
З.Ы: Почему то, не удалось накатить через Chrome Canary, но на Chrome Dev работает отлично. Тестировал на маке, не знаю как на винде.
❤️ Подписывайтесь на мой телеграм канал, там рассказываю о программировании, жизни и ценностях - ТГ канал