NVIDIA нашла способ радикально ускорить работу ИИ-систем с длинными диалогами. Новая технология KVTC сокращает время задержки до восьми раз и уменьшает потребление памяти до 20 раз. Это решение критически важно для корпоративных сценариев — аналитики, программирования и агентных систем, где длинный контекст создает серьезную нагрузку на GPU. Тесты на моделях до 70 млрд параметров показали, что даже при 32-кратном сжатии точность остается приемлемой. https://hightech.plus/2026/03/18/tehnologiya-nvidia-mozhet-umenshit-obem-pamyati-ii-modelei-v-20-raz
Технология NVIDIA может уменьшить объем памяти ИИ-моделей в 20 раз
NVIDIA нашла способ радикально ускорить работу ИИ-систем с длинными диалогами. Новая технология KVTC сокращает время задержки до восьми раз и уменьшает потребление памяти до 20 раз. Это решение критически важно для корпоративных сценариев — аналитики, программирования и агентных систем, где длинный контекст создает серьезную нагрузку на GPU. Тесты на моделях до 70 млрд параметров показали, что даже при 32-кратном сжатии точность остается приемлемой.
https://hightech.plus/2026/03/18/tehnologiya-nvidia-mozhet-umenshit-obem-pamyati-ii-modelei-v-20-raz
