10,2 тыс подписчиков
🚀 LLMLingua: Enhancing Large Language Model Inference via Prompt Compression
LLMLingua использует компактную, хорошо обученную языковую модель (например, LaMA-7B) для поиска и удаления несущественных лексем в промптах.
Этот подход обеспечивает эффективный вывод с использованием больших языковых моделей (LLM), достигая 20-кратного сжатия при минимальной потере качества генерации.
Около минуты
26 января 2024