Точнее, придумали новую архитектуру, которая очень старается повторить его работу
Китайская академия наук выпустила SpikingBrain 1.0 – языковую модель, которую обучили на местных GPU стартапа MetaX и которая, по заявлениям разработчиков, работает в сто раз быстрее обычных LLM.
Модель назвали «мозгоподобной», потому что архитектура имитирует избирательную активацию нейронов: вместо обработки всего текста сразу система фокусируется на ближайшем контексте, как человеческий мозг в разговоре. Так разработчики пытались сократить количество нужных для работы модели вычислений и увеличить контекст.
Правда, заявленное стократное ускорение относится к очень специфическому сценарию – обработке промптов длиной в миллионы токенов. На обычных задачах выигрыш скромнее и измеряется десятками процентов.
Качество модели оценили по внутренним тестам: версия на 7 миллиардов параметров показала 65,8 балла по MMLU, версия на 76 миллиардов – 73,6. Цифры сопоставимы с открытыми моделями вроде Llama. Семимиллиардная модель выложена открыто.
Исследователи в репозитории признаются, что «мозгоподобность» модели пока условна. Спайковые нейронные сети остаются недостижимой целью, а рабочий продукт – это гибрид линейного внимания, микс экспертов и классических трансформеров. Но даже эмуляция поведения спайковой сети позволила увеличить скорость работы модели и снизить энергопотребление.
Каждый ваш лайк и подписка помогают нам увеличить аудиторию и создавать еще больше достоверного и интересного контента.