🤖 Google внедряет российские идеи для улучшения AI с длинным контекстом
Одна из главных проблем современных нейросетей — это ограниченное контекстное окно. Чем длиннее текст, тем сложнее модели удерживать важную информацию из начала. Российские учёные из института AIRI нашли способ обойти это, предложив Recurrent Memory Transformer с токенами памяти. Эта идея позволяет моделям сохранять и передавать информацию между частями длинного текста, не перегружая вычислительные ресурсы...