🧠 Google показали новую архитектуру памяти для ИИ — ATLAS. Теперь модель буквально учится во время работы и может держать в голове до 10 миллионов токенов, не захлебываясь в self-attention.
Трансформеры, как известно, плохо масштабируются: память растет квадратично, и всё начинает тормозить. В ATLAS решили радикально — выбросили self-attention и KV-кэш. Вместо этого — обновляемая память, как в RNN, но умнее: всё учится прямо во время инференса.
💡 Модель не хранит ключи и значения, а сразу запоминает, как они связаны. И работает это круче Titan и трансформеров — на длинных последовательностях точность выше 80%.
🧾 Полную статью можно глянуть тут: https://arxiv.org/pdf/2505.23735
👀 Подпишись, чтобы не пропустить, как ИИ учится учиться: 👉 Нейробухта
