Исследовательское подразделение Qualcomm AI Research представило модульную систему, которая позволяет запускать на смартфонах языковые модели со способностью к рассуждению. По данным компании, новый подход сокращает длину внутренних цепочек рассуждений в среднем в 2,4 раза, что снижает нагрузку на память и уменьшает расход энергии. Проблема таких моделей на мобильных устройствах связана с тем, что длинные рассуждения создают большое число токенов. Это увеличивает требования к памяти, повышает задержки и быстрее разряжает батарею. В Qualcomm считают, что локальный запуск даёт и другие преимущества: данные остаются на устройстве, ответы приходят быстрее, а система может работать без подключения к интернету.… Подробнее