Запуск нейросети на слабом ноутбуке звучит как фантастика, но комбинация открытой MoE-модели Ornith-1.0-35B и нескольких конкретных техник оптимизации позволяет получить до 99 токенов в секунду на обычном AMD-процессоре с интегрированной графикой, и всё это без облачных подписок и мощных видеокарт. MoE-архитектура (Mixture of Experts, когда на каждый запрос включается лишь часть «экспертов» внутри модели) впервые позволяет гонять 35-миллиардную модель в 19-21 ГБ памяти. Раньше такой размер требовал серверного GPU, теперь хватает ноутбучного чипа с общей памятью...