Новые архитектуры от Google черпают вдохновение из идей ученых института AIRI. С их помощью компания стремится решить проблему «забывания» и ограничения контекста.
Основы этих разработок были заложены в России в 2020-2022 годах. Говорим о работе над Recurrent Memory Transformer и концепцией токенов памяти, созданной Юрием Куратовым, Айдаром Булатовым и Михаилом Бурцевым. Они первыми продемонстрировали, как можно помочь ИИ обрабатывать миллионы токенов с помощью архитектуры, а не лишь за счет увеличения вычислительных мощностей.
Google прямо ссылается на эти исследования, которые уже получили свыше 800 цитирований. Это стало основой для любого AGI, а новейшим стандартом проверки памяти стал бенчмарк BABILong от той же команды.
Постмейкер - автоматическое ведение канала
🤖 Анимация | СhatGPT-4 | Помощь с резюме
