На Mobile World Congress 2024 компания Qualcomm пополнит свой портфель трюков с искусственным интеллектом для телефонов на базе кремния серии Snapdragon для телефонов на базе Android. Чипмейкер уже продемонстрировал некоторые впечатляющие возможности ИИ для флагмана Snapdragon 8 Gen 3, такие как голосовое редактирование мультимедиа, генерация изображений на устройстве с помощью Stable Diffusion и более умный виртуальный помощник, построенный на основе больших языковых моделей от таких компаний, как Meta.
Сегодня компания добавляет к этим суперспособностям ИИ еще больше возможностей. Первое - это возможность запускать на смартфоне большой помощник по языку и зрению (LLaVa). Представьте, что это чатбот вроде ChatGPT, который получил возможности Google Lens. Таким образом, решение Qualcomm может не только принимать текстовый ввод, но и обрабатывать изображения.
Например, вы можете нажать на картинку с изображением доски с мясом и задать на ее основе вопросы. ИИ-помощник, основанный на большой мультимодальной модели (LMM), которая может обрабатывать более 7 миллиардов параметров, расскажет вам обо всех видах фруктов, сыров, мяса и орехов на доске, изображенной на входном изображении, показанном ниже.
Он также может обрабатывать последующие запросы, чтобы вы могли вести плавный разговор в режиме "туда-сюда". Теперь ChatGPT обзавелся мультимодальными возможностями, а это значит, что инструмент OpenAI может обрабатывать и изображения. Однако есть одно существенное отличие.
Такие продукты, как ChatGPT и Copilot, по-прежнему привязаны к облачной архитектуре, то есть ваши данные обрабатываются на удаленных серверах. Qualcomm стремится к обработке данных на устройстве. Все происходит на вашем телефоне, а это значит, что весь процесс происходит быстрее, и риск вторжения в частную жизнь минимален.
"Этот LMM работает на устройстве с быстродействующей скоростью передачи токенов, что приводит к повышению конфиденциальности, надежности, персонализации и стоимости", - утверждает Qualcomm. Будет ли обещанный виртуальный помощник Qualcomm на базе LLaVa выпускаться в виде отдельного приложения или за него придется платить, пока официально не подтверждено.
Следующий анонс от Qualcomm погружает в творческую область создания и манипулирования изображениями. Не так давно Qualcomm продемонстрировала самую быструю в мире генерацию текста в изображение на телефоне с помощью технологии Stable Diffusion. Сегодня компания впервые представила генерацию изображений с помощью технологии LoRA.
LoRA использует иной подход к созданию изображений, чем обычные генеративные инструменты ИИ, такие как Dall.E. LoRA, сокращение от Low-Rank Adaptation, - это техника, разработанная компанией Microsoft. Обучение модели искусственного интеллекта может быть довольно дорогостоящим, требовать больших задержек и быть особенно требовательным к аппаратному обеспечению.
LoRA позволяет значительно уменьшить вес модели, что достигается за счет фокусировки только на определенных сегментах модели и уменьшения количества параметров для обучения. При этом снижаются требования к памяти, процесс становится быстрее, а количество времени и усилий, необходимых для адаптации модели "текст-изображение", также значительно сокращается.
Со временем метод дистилляции LoRA был применен к модели Stable Diffusion для генерации изображений из текстовых подсказок. Благодаря повышению эффективности и легкой адаптации моделей на основе LoRA, они рассматриваются как подходящий путь для смартфонов. Qualcomm, безусловно, так считает, и даже конкурирующая компания MediaTek применила это решение для генеративных трюков ИИ в своем флагманском чипе Dimensity 9300.
На выставке MWC 2024 компания Qualcomm продемонстрирует еще несколько AI-трюков, некоторые из которых уже появились в Samsung Galaxy S24 Ultra. Среди них - возможность расширить полотно изображения с помощью генеративной заливки AI и генерация видео на основе AI. Последнее весьма амбициозно, особенно после того, как OpenAI удалось добиться успеха с помощью Sora. Будет интересно посмотреть, как Qualcomm удастся перенести его на смартфоны.
Если вам понравилась эта статья, подписывайтесь, чтобы не пропустить еще много полезных статей!
Также вы можете прочитать меня здесь:
- Telegram: https://t.me/gergenshin
- яндекс Дзен: https://dzen.ru/gergen
- официальный сайт: https://www-genshin.ru
