Корпорация Google представила уникальную архитектуру нейронных сетей под названием Titans, способную преодолеть ограничения памяти в моделях LLM. Эта технология позволяет обрабатывать большие объёмы данных одновременно, не увеличивая расход вычислительных ресурсов. Как отмечают эксперты компании, технология Titans умеет извлекать и сохранять важную информацию даже из длинных текстов.
Основой новой разработки стала комбинация стандартных блоков внимания и системы «нейронной памяти». Это позволяет моделям одновременно работать с текущими данными и запоминать важную информацию для долгосрочного использования. Журналисты подчёркивают, что такие подходы обеспечивают высокую скорость и точность обработки текстов, опережая классические LLM и их аналоги вроде Mamba и Samba.
Обычно LLM-модели используют механизм самовнимания, анализируя связи между словами. При увеличении объёма текста происходит рост и затрат на вычисления. Некоторые альтернативные подходы позволяют снизить нагрузку, но теряют из-за этого точность, потому что игнорируют важные детали. В рамках технологии Titans предлагается уникальное решение, предполагающее гармоничную комбинацию кратковременной и долгосрочной памяти.
Как объяснили разработчики, одной из центральных инноваций Titans стал модуль «нейронной долгосрочной памяти». Он умеет запоминать новые данные в процессе работы модели, выделяя важную информацию, особенно если она отличается от уже известных данных. При этом лишние сведения автоматически удаляются, чтобы избежать перегрузки.
Архитектура Titans состоит из трёх элементов:
- Ядро. Выступает в качестве кратковременной памятью и использует классический механизм самовнимания для обработки контекста.
- Долгосрочная память. Сохраняет информацию, выходящую за рамки текущего контекста.
- Постоянная память. Хранит базовые знания, полученные на этапе обучения.
В ходе тестирования Titans, проводившегося на моделях с 170-760 млн параметров, архитектура продемонстрировала отличные результаты. Например, в задачах, связанных с поиском информации в больших текстах, она обошла известные модели (GPT-4, GPT-4o-mini и Llama-3). Контекстное окно Titans достигло рекордных 2 млн токенов с сохранением низких затрат на память.
Журналисты отмечают, что возможности новой архитектуры открывают перспективы для разработки приложений, где данные могут добавляться напрямую в запросы без необходимости сложных предварительных обработок. В ближайшее время Google планирует сделать код Titans доступным для PyTorch и JAX, что предоставит разработчикам широкий доступ к инновации.
Ещё по теме: