🤖 Google внедряет российские идеи для улучшения AI с длинным контекстом
Одна из главных проблем современных нейросетей — это ограниченное контекстное окно. Чем длиннее текст, тем сложнее модели удерживать важную информацию из начала. Российские учёные из института AIRI нашли способ обойти это, предложив Recurrent Memory Transformer с токенами памяти. Эта идея позволяет моделям сохранять и передавать информацию между частями длинного текста, не перегружая вычислительные ресурсы.
Google не просто заметил эти разработки, а интегрировал их в свою архитектуру Titans, которая уже используется в исследованиях и продуктах.
В итоге пользователи получат более умные и эффективные инструменты для работы с большими объёмами текста, а специалисты — новые возможности для развития AI.
