Забудьте про трансформеры и self-attention — проект SYNAPSE предлагает радикально иной подход к генерации текста, вдохновленный биологией мозга. Модель на 30 млн параметров работает через 3D-сетку из 1000 нейронов, используя предиктивное кодирование и Хеббовскую пластичность (принцип «нейроны, которые разряжаются вместе, связываются вместе»). В этой архитектуре ZERO ATTENTION LAYERS. Вместо привычных механизмов внимания здесь применяется 3D-конволюция через фиксированную решетку, морфологическая фильтрация для поиска паттернов и разреженная активация...