Wave Field LLM — это новая архитектура языковой модели, заменяющая O(n) self-attention на динамику волновых уравнений, обеспечивая сложность O(n log n) без потери качества по сравнению со стандартным трансформером. Модель использует физические принципы: сохранение энергии, причинность и интерференцию волн для обработки последовательностей, что позволяет эффективно масштабироваться на длинные тексты. Вместо дискретных токенов информация живёт в непрерывном поле, а внимание реализуется через learnable wave kernels с FFT-вычислениями. Архитектура демонстрирует преимущества в производительности и интерпретируемости особенно при работе с большими объёмами данных. llm, transformers, ai-native GitHub
wave-field-llm
Wave Field LLM — это новая архитектура языковой модели, заменяющая O(n) self-attention на динамику волновых уравнений, обеспечивая сложность O(n log n) без потери качества по сравнению со стандартным трансформером. Модель использует физические принципы: сохранение энергии, причинность и интерференцию волн для обработки последовательностей, что позволяет эффективно масштабироваться на длинные тексты. Вместо дискретных токенов информация живёт в непрерывном поле, а внимание реализуется через learnable wave kernels с FFT-вычислениями. Архитектура демонстрирует преимущества в производительности и интерпретируемости
особенно при работе с большими объёмами данных.
llm, transformers, ai-native
