Статья на Hugging Face Papers вводит Deep Fusion Memory (DFM), архитектуру параметрической памяти для больших языковых моделей. Исходная проблема в том, что модели нужно получать и использовать внешние знания сверх тех, что остались от предобучения. По словам авторов аннотации, у существующих способов есть изъяны: дообучение (continued pretraining) рискует катастрофическим забыванием, поиск во время вывода даёт заметные накладные расходы, а внешняя параметрическая память хотя и обходится без онлайн-поиска,...