Представлен алгоритм сжатия ИИ-моделей TurboQuant от Google
Современные языковые модели поражают возможностями, но их главный минус — огромный аппетит. Передовым ИИ требуются серверы с сотнями гигабайт дорогостоящей видеопамяти. Это делает запуск нейросетей невероятно дорогим удовольствием, доступным в основном IT-гигантам. Обычным пользователям и разработчикам локальный запуск таких гигантов на домашних ПК практически недоступен из-за нехватки вычислительных мощностей. Исследователи Google успешно решили эту проблему, анонсировав инновационный алгоритм TurboQuant...
