Авторы препринта исходят из распространённого представления: трансформеры интуитивно считаются эффективными в копировании из входного текста. Они утверждают, что на деле способность больших языковых моделей копировать из контекста можно улучшить за счёт явного моделирования этой способности. Для этого предложены Copy-Paste Language Models (CPLMs). Идея в том, что к обычной «голове» языкового моделирования (LM head) добавляется лёгкая Copy-Paste head, то есть отдельный компонент, отвечающий за копирование...