110 подписчиков
Длинный контекст тормозит инференс (вывод). Обязательно ли решать эту проблему с помощью дополнительных графических процессоров (GPU)?
Компании Supermicro, IBM и NVIDIA представили архитектуру, в которой кэш ключей и значений (KV cache) можно хранить вне памяти графического процессора и повторно использовать между запросами.
В совместном тесте на модели со 120 миллиардами параметров и запросе (prompt) длиной 130 тысяч токенов постоянный кэш ключей и значений (persistent KV cache) позволил модели начать отвечать до 56 раз быстрее (Time-to-First-Token, TTFT), чем при повторной обработке всего контекста. При росте запроса с 30 тысяч до 130 тысяч токенов время до первого токена выросло всего на 0,377 секунды (без постоянного кэша оно составляло 29,55 секунды). И здесь важно отметить, что это результат конкретного теста компаний, а не универсальная цифра для любой нагрузки.
На практике это означает, что часто повторно используемый контекст можно вынести из памяти графического процессора в общее хранилище, а не пересчитывать его заново. Для больших языковых моделей (LLM) с длинным контекстом, систем с дополненной генерацией на основе поиска (RAG), помощников для программирования и агентов на основе искусственного интеллекта это меняет подход к масштабированию: иногда узкое место — не сам графический процессор, а работа с кэшем ключей и значений (KV cache).
1 минута
Вчера