Google создала алгоритм TurboQuant: он сокращает потребление памяти ИИ в шесть раз Если технология выйдет за пределы лабораторий, это может радикально снизить стоимость эксплуатации крупных языковых моделей. Инженеры Google Research представили технологию TurboQuant – революционный метод сжатия памяти для систем искусственного интеллекта. Разработка оказалась настолько эффективной, что в сети ее мгновенно окрестили «Крысоловом» (Pied Piper) в честь легендарного стартапа из сериала «Кремниевая долина», чья программа умела уменьшать файлы практически без потери качества. Главная ценность TurboQuant заключается в способности сократить объем «рабочей памяти» ИИ – так называемого кэша ключ-значение – как минимум в 6 раз. При этом нейросети не теряют в точности и производительности. Если технология выйдет за пределы лабораторий, это может радикально снизить стоимость эксплуатации крупных языковых моделей. В индустрии новинку восприняли с большим энтузиазмом. Генеральный директор Cloudflare М
Google создала алгоритм TurboQuant: он сокращает потребление памяти ИИ в шесть раз
26 марта26 мар
19
1 мин