TradeMAV запустила краудфандинговую кампанию по сбору средств на устройство RAMDeck, которое позволяет объединять ресурсы нескольких компьютеров и смартфонов для запуска локальных ИИ-моделей. Разработчики предлагают использовать память уже имеющейся техники вместо покупки дополнительных модулей ОЗУ, цены на которые заметно выросли. RAMDeck поддерживает компьютеры под управлением Windows, macOS и Linux, а также Android-смартфоны к общей сети. Система распределяет слои ИИ-модели между несколькими устройствами, благодаря чему можно запускать модели, которым не хватает памяти одного устройства...

Rock Matrix опубликовала веса небольшой языковой модели EdgeRock-4B с фиксированным объёмом KV-кеша на базе Qwen3.5-4B от Alibaba. По данным команды, при контексте в 256 тыс. токенов кеш занимает 72 МиБ вместо 8 ГиБ у исходной модели. В тесте команды на одном GPU Hopper с 80 ГБ памяти EdgeRock-4B выдавала в 6,42 раза больше токенов в секунду, чем Qwen3.5-4B. При этом первая модель обслуживала 512 одновременных потоков генерации, а вторая достигала предела при 64 потоках. Как сообщает Pandaily, Rock Matrix работала с Гонконгским университетом науки и технологий и Университетом Карнеги — Меллона...