🔬🔓 SYNAPSE 30M: нейросеть без механизмов внимания на базе предиктивного кодирования

18 марта18 мар

1 мин

Забудьте про трансформеры и self-attention — проект SYNAPSE предлагает радикально иной подход к генерации текста, вдохновленный биологией мозга. Модель на 30 млн параметров работает через 3D-сетку из 1000 нейронов, используя предиктивное кодирование и Хеббовскую пластичность (принцип «нейроны, которые разряжаются вместе, связываются вместе»). В этой архитектуре ZERO ATTENTION LAYERS. Вместо привычных механизмов внимания здесь применяется 3D-конволюция через фиксированную решетку, морфологическая фильтрация для поиска паттернов и разреженная активация. Самое впечатляющее — память O(1). Это значит, что потребление ресурсов не растет вместе с длиной контекста, а задержка инференса остается константной (~2 мс) что для 64, что для 16 000 токенов. Модель обучалась на уровне символов (character-level) на датасете OpenWebText. После всего одного прохода по 2 млрд символов она достигла точности 98.27% на валидации. Для работы нейронам нужен «разогрев» — короткий вводный текст (primer), которы

В этой архитектуре ZERO ATTENTION LAYERS. Вместо привычных механизмов внимания здесь применяется 3D-конволюция через фиксированную решетку, морфологическая фильтрация для поиска паттернов и разреженная активация. Самое впечатляющее — память O(1). Это значит, что потребление ресурсов не растет вместе с длиной контекста, а задержка инференса остается константной (~2 мс) что для 64, что для 16 000 токенов.

Модель обучалась на уровне символов (character-level) на датасете OpenWebText. После всего одного прохода по 2 млрд символов она достигла точности 98.27% на валидации. Для работы нейронам нужен «разогрев» — короткий вводный текст (primer), который приводит 3D-сетку в рабочее состояние, имитируя сенсорный поток в живых нейронных цепях.

Попробовать архитектуру в деле можно через официальный репозиторий на Hugging Face. Код загрузки модели стандартный для PyTorch, но требует специфических параметров сетки: model = SynapseLM(vocab=568, d=764, S=10, D=10). Это важный шаг в сторону attention-free моделей, которые могут решить проблему «квадратичной сложности» современных LLM.

#AI #OpenSource #Research #SYNAPSE #AttentionFree #PredictiveCoding #NeuralNetworks

🔗 Nick103/SYNAPSE-30M-weights