Разработана архитектура нейронных сетей «Titans». Ожидается, что она решит проблему с нехваткой памяти в LLM-моделях. ИИ-модели нового образца способны обрабатывать больше данных без увеличения затрат на вычислительные процессы. Titans может искать и сохранять важные фрагменты в текстах с большим количеством символов. В основе разработки находятся стандартные блоки внимания, «нейронная память». Модели могут справляться с миллионами токенов, они работают быстрее классических LLM и их альтернатив.
Источник изображения: Dzen
В обычных моделях используется механизм self-attention, отвечающий за анализ связей между словами. Однако если текст длинный, затраты на вычисления резко увеличиваются. Некоторые новые подходы менее затратные, но точность их работы сложно назвать высокой. Titans олицетворяет баланс сохранения и использования краткосрочной и долгосрочной памяти. Если ИИ-модель заметит информацию, которая не похожа на предыдущие данные, она отнесет ее к категории важных сведений и сохранит. Ненужная информация удаляется в автоматическом режиме, поэтому проблем с нехваткой памяти не будет.
Новая разработка Google демонстрирует высокую производительность при низких затратах. Это позволит создавать приложения, в которые можно интегрировать данные напрямую в запросы. Google собирается опубликовать код, чтобы другие разработчики могли им воспользоваться.
