В лаборатории Google Research разработан новый подход к машинному обучению под названием Nested Learning, который решает одну из ключевых проблем современных ИИ — «катастрофическое забывание». Это явление возникает, когда модель, обучаясь новой задаче, теряет способность выполнять старые, фактически стирая предыдущие знания.
В Google объясняют, что Nested Learning заимствует идею из нейробиологии — из того, как человеческий мозг сохраняет и обновляет воспоминания. Вместо того чтобы полностью переписывать память при обучении, новая система позволяет обновлять знания выборочно, на разных «скоростях» и уровнях, как это происходит при нейропластичности мозга.
Традиционно архитектура модели и алгоритм её оптимизации рассматриваются как отдельные компоненты. Nested Learning объединяет их в единую структуру, представляя ИИ как набор вложенных, взаимосвязанных подзадач оптимизации. Каждая из них обновляется с собственной частотой — механизм, который в Google называют multi-time-scale updates. Это позволяет модели адаптироваться к новой информации, не «затирая» старые слои знаний.
Для демонстрации идеи команда Google создала экспериментальную модель Hope — самообучающуюся рекуррентную систему, которая может оптимизировать собственную память. Её основа — Continuum Memory Systems, где память представлена не как два жёстких блока («краткосрочная» и «долгосрочная»), а как спектр слоёв, каждый из которых обновляется с разной скоростью.
Hope показала превосходные результаты в тестах на долговременное запоминание, в частности в задачах Needle-in-Haystack — когда ИИ должен найти крошечную деталь в огромном тексте. Модель также превзошла существующие системы в точности и эффективности при генерации текста.
Google отмечает, что принципы Nested Learning могут лечь в основу будущих версий моделей семейства Gemini, однако сроки внедрения пока не называются.