Google совершили огромный прорыв в области ИИ: они придумали новую архитектуру — Titans, которая работает по принципу человеческого мозга.
Что важно знать:
— У Titans есть три уровня памяти: краткосрочная, долгосрочная и постоянная. Модель сама может выбирать, что помнить, а что нужно выбросить из своей памяти.
— Долгосрочная память постоянно учится и обновляется, подстраиваясь под новые данные;
— Параллельная обработка данных ускоряет обучение и делает систему максимально эффективной;
— В прогнозах и моделировании Titans уделывает все топовые модели, легко справляясь с анализом геномов, временных рядов и куче других трудных задач;
— Разрыв в контекстном окне поражает, для сравнения: у GPT-4 максималка это 4 тысячи токенов, а у Titans — 2 млн. Это примерно как прочитать и осмыслить 25 книг за раз.