89 подписчиков
Скармливаем нейронке текст неограниченного размера для суммаризации и ответов на вопросы через — Self-Controlled Memory (SCM).
Пока графического интерфейса никто к этому не прикрепил, но можно потестить по инструкции с гитхаба.
Работает с любыми моделями: OpenAI-преподобными, Llama-подобными (Alpaca, Vicuna,...) и прочими. По умолчанию настроено на модель text-davinci-003, но можно поставить другую командой --model_name.
До этого были представлены способы как расширить контекстную память языковых моделей вроде GPT-4 (у которой лимит в 32к токенов) до 260к токенов, а также 1 млн токенов.
Около минуты
7 мая 2023