Есть очень простая ошибка, которую часто допускают, когда говорят о российских процессорах. Звучит она примерно так: На самом деле — нет. Можно потратить годы на создание собственного CPU, получить отличное процессорное ядро, запустить Linux и даже поставить несколько таких ядер на один кристалл...

Энтузиасты продолжают искать оптимальные способы запуска больших языковых моделей на обычных процессорах. Недавнее независимое тестирование трех open-source проектов показало неоднозначные результаты. В центре внимания оказались BitNet (бинарная модель, снижающая требования к памяти), Bonsai 1.7B и форк llama.cpp с поддержкой рекурсивного трейлинг-рендеринга (RTR). Проверка показала, что основная ветка bitnet.cpp по-прежнему выдает некорректные выходные данные при работе на CPU. Это означает, что...