Google представила новый алгоритм под названием TurboQuant, который может сократить использование памяти большими языковыми моделями в шесть раз. По данным компании, этот метод сохраняет точность и не оказывает заметного негативного влияния на производительность, что может сделать системы ИИ дешевле и проще в эксплуатации. Об этом сообщает Tech.onliner.by.
Основной целью TurboQuant является кэш, на который языковые модели опираются во время диалогов. Этот кэш хранит важные данные, чтобы системе не приходилось повторять одни и те же вычисления. Но по мере того как диалог пользователя становится длиннее, кэш тоже растет, что может замедлять ответы и повышать требования к оборудованию.
Google заявила, что TurboQuant работает в несколько этапов, сжимая сохраненные данные и исправляя ошибки, возникающие в ходе этого процесса. Алгоритм разработан так, чтобы одновременно снижать нагрузку на память и вычислительные затраты. Еще один важный момент заключается в том, что его можно применять к существующим моделям без дополнительного обучения.
Эта разработка может оказаться особенно полезной для инструментов ИИ, работающих на смартфонах и других устройствах с ограниченными ресурсами. Если TurboQuant получит широкое распространение, он может помочь снизить эксплуатационные расходы сервисов ИИ и сделать продвинутые модели более практичными для небольшого и менее мощного оборудования.