48 тыс подписчиков
Новый метод Google дает возможность БЯМ работать с текстами неограниченного размера
Исследователи из Google представили новую методику, названную Infini-attention, которая позволяет большим языковым моделям (БЯМ) работать с текстами неограниченной длины. Эта техника расширяет диалоговое окно моделей, сохраняя при этом постоянные требования к памяти и вычислительной мощности. Методика направлена на модели-трансформеры и вряд ли подойдет для БЯМ с другим видом архитектуры, но большинство популярных БЯМ на рынке именно трансформеры, что делает разработку Google вполне универсальной.
15 апреля 2024