AMD представила новое семейство гибридных моделей под названием AMD-HybridLM. В линейку вошли модели с разным количеством параметров: 1B, 3B и 8B. Эти модели сочетают в себе механизмы Multi-Latent Attention и Mamba2, что позволяет значительно сократить использование видеопамяти и ускорить процесс инференса без потери точности. 🚀
Главной особенностью новых моделей является почти полное отсутствие KV-кэша. Это позволяет значительно сократить расход видеопамяти и повысить эффективность работы. В тестах HybridLM-8B показала превосходные результаты по сравнению с Llama-3.1-8B и MambaInLlama-8B-50%, демонстрируя лучшую пропускную способность и значительно меньший размер KV-кэша (сжатие до 49,8×).
По сути, AMD предлагает новый класс «гибридных трансформеров», которые могут значительно снизить системные требования для развертывания больших языковых моделей. Это открывает новые возможности для коммерческого использования LLM, делая их более доступными и экономически выгодными. 💡
Такие инновации могут стать важным шагом в развитии искусственного интеллекта, позволяя использовать мощные модели на менее производительном оборудовании без потери качества. Это особенно актуально для компаний, которые хотят внедрять ИИ-решения, но сталкиваются с высокими требованиями к железу.