596 подписчиков
📌 16 млрд параметров на ТВ-приставке: 5,1 токена в секунду
Xiaomi TV Box S третьего поколения с 2 ГБ оперативной памяти запускает Ling-mini-2.0 на 16,3 млрд параметров — числовых настроек нейросети. В проекте smolmaxxing модель выдаёт 5,1 токена в секунду: токен — это фрагмент слова или отдельный знак. Автор измерил скорость непосредственно на приставке, в чате.
Ling-mini-2.0 использует смесь экспертов: при генерации каждого токена работает только часть блоков нейросети. Нужные блоки программа подгружает из встроенного накопителя, а востребованные держит в оперативной памяти. Предварительная загрузка сокращает ожидание, но предпочтение уже загруженных блоков может ухудшать ответы.
На iPad Air 2013 года с 1 ГБ памяти автор разогнал Bonsai-1.7B с 2,75 до 24–26 токенов в секунду. Он переписал вычислительные процедуры llama.cpp; модель работает на центральном процессоре, без графического ускорителя. В длинных диалогах скорость падает до 18–22 токенов в секунду.
На Xiaomi автор также измерил скорость других моделей в чате:
🗨️ Qwen3.5-2B — 7,7 токена в секунду
🌙 Moon-Beam-8B-A1B — 7,2 токена в секунду
🌳 Bonsai-8B — 5,2 токена в секунду
💡 Почему важно: Локальный чат с языковой моделью работает даже на устройстве, где ей доступен примерно гигабайт оперативной памяти. Однако число параметров само по себе не определяет полезность: лучшим балансом скорости и качества на приставке автор считает Qwen3.5-2B.
Когда модель не помещается в памяти, скорость часто ограничивает чтение накопителя. Ускорение тоже требует проверки: в одном опыте модель прошла проверку предсказания текста, но зациклилась в 12 из 13 длинных ответов. Отдельная настройка штрафа за повторы сократила число таких сбоев до одного.
Опубликованные сборки требуют изменённой llama.cpp; на iPad дополнительно нужен взлом iOS для снятия системных ограничений.
🍊 Читать полностью: dzen.ru/...ocb
1 минута
2 дня назад